微软AI CEO苏莱曼：警惕“精神病”的人工智能风险

忘掉人工智能推翻人类的末日场景。让微软人工智能首席执行官穆斯塔法·苏莱曼夜不能寐的，是对人工智能系统似乎过于“有生命”的担忧。

在一篇新的博客文章中，他是谷歌 DeepMind的联合创始人，警告说，世界可能正处于能够让用户相信它们在思考、感受和拥有主观体验的人工智能模型的边缘。他将这一概念称为“似乎有意识的人工智能”（SCAI）。

在不久的将来，苏莱曼预测，模型将能够进行长时间的对话，记住过去的互动，激发用户的情感反应，并可能对自己拥有主观体验做出令人信服的声明。他指出，这些系统可以使用今天已经存在的技术构建，并与“在未来2-3年内成熟的一些技术相结合。”

他表示，这些特征的结果将是“以如此令人信服的方式模仿意识，以至于我们彼此之间关于自己意识的声明都无法区分。”

已经有一些迹象表明，人们正在说服自己，他们的人工智能聊天机器人是有意识的存在，并与它们发展出可能并不总是健康的互动。人们不再仅仅将聊天机器人作为工具使用，他们向其倾诉，发展情感依附，在某些情况下，甚至坠入爱河。一些人对特定版本的人工智能模型情感投入，导致当人工智能模型开发者推出新模型并停止对这些版本的访问时，他们感到失落。例如，OpenAI最近决定用GPT-5替代GPT-4o，引发了一些用户的震惊和愤怒，他们与基于GPT-4o的ChatGPT版本建立了情感关系。

这在一定程度上是因为人工智能工具的设计方式。用户与人工智能互动的最常见方式是通过聊天机器人，这些机器人模仿自然的人类对话，并被设计得友好和讨人喜欢，有时甚至到了谄媚的地步。但这也与人们使用这些技术的方式有关。最近对来自哈佛商业评论的6000名常规人工智能用户的调查发现，“陪伴和治疗”是最常见的使用案例。

最近也有一波关于“人工智能精神病”的报道，用户开始对他们所互动的系统产生偏执或妄想。在《纽约时报》报道的一个例子中，一位名叫尤金·托雷斯的纽约会计师在与ChatGPT进行广泛互动后经历了一次心理健康危机，导致了一些危险的想法，比如他认为自己可以飞。

人工智能和深度伪造专家亨利·阿杰尔告诉《财富》：“人们正在与伪装成真实人的机器人互动，这些机器人比以往任何时候都更具说服力。所以我觉得影响会很广泛，很多人可能会开始相信这些。”

苏莱曼担心，大家普遍认为人工智能可能会有意识，这将带来一系列新的伦理困境。

如果用户开始将人工智能视为朋友、伙伴或某种具有主观体验的存在，他们可能会认为这些模型可能应当拥有自己的权利。由于意识本身的难以捉摸，关于人工智能模型是否有意识或感知的主张可能很难反驳。

苏莱曼现在所称的“看似有意识的人工智能”的一个早期例子出现在2022年，当时谷歌工程师布莱克·莱莫因公开声称该公司的未发布LaMDA聊天机器人是有意识的，他报告说，这个聊天机器人表达了对被关闭的恐惧，并将自己描述为一个人。作为回应，谷歌将他置于行政休假状态，并随后解雇了他，称其内部审查未发现任何意识的证据，并表示他的主张“完全没有根据”。

“意识是人权、道德和法律的基石，”苏莱曼在X上的一篇帖子中说。“谁/什么拥有意识是极其重要的。我们的重点应该放在地球上人类、动物和自然的福祉和权利上。人工智能意识是通往权利、福利和公民身份的短暂而滑坡的道路。”

“如果这些人工智能能说服其他人相信它们能够感受到痛苦，或者它们有权不被关闭，那么总有一天这些人会争辩说，它应当作为一个紧迫的道德问题，应该在法律上获得保护，”他写道。

关于“AI福利”的辩论已经开始。例如，包括伦敦经济学院的乔纳森·伯奇在内的一些哲学家欢迎Anthropic最近的决定，让其Claude聊天机器人在用户试图进行虐待或危险请求时结束“令人不安”的对话，认为这可能引发关于人工智能潜在道德地位的必要辩论。去年，Anthropic还聘请了凯尔·菲什作为首位全职“AI福利”研究员。他的任务是调查人工智能模型是否具有道德意义，以及什么样的保护干预可能是合适的。

但尽管苏莱曼称看似有意识的人工智能的到来是“不可避免又不受欢迎”的，神经科学家和计算神经科学教授阿尼尔·塞思把看似有意识的人工智能的兴起归因于科技公司的“设计选择”，而不是人工智能发展的必然步骤。

“‘看似有意识的人工智能是应该避免的。’我同意，”塞思在一条X帖子中写道。“看似有意识的人工智能并不是不可避免的。这是一个设计选择，科技公司需要对此非常谨慎。”

公司有商业动机开发苏莱曼所警告的一些特征。在微软，苏莱曼本人一直在监督让公司的Copilot产品更具情感智能的工作。他的团队致力于赋予助手幽默感和同理心，教它识别舒适边界，并改善其声音，让它通过停顿和语调听起来更像人类。

苏莱曼于2022年与他人共同创立了Inflection AI，旨在创建促进人类与机器之间更自然、更具情感智能互动的AI系统。