微软AI CEO警告：我们需要警惕「看似有意识的AI」

机器之心报道

编辑：+0

AI 有意识吗？

无论是古今中外的文艺作品中，还是 AI 迅猛发展的当下，好像都难以给出一个绝对的答案。

要探讨这个问题，我们首先需要理解 AI 的「黑盒」困境。作为现代 AI 核心的深度神经网络，其内部包含了数以亿计的参数，这些参数在多层结构中进行着极其复杂的非线性相互作用。

AI 并非由人类编写固定的规则来执行任务，而是通过自主学习海量数据来识别模式、构建决策逻辑。这一过程往往超越了人类的直观理解，就像一个神秘的黑匣子：你向它提问，它能给出精准的答案，但你无法洞悉其内部的思考与决策过程。

图源：Medium。

微软 AI CEO Mustafa Suleyman 深入讨论了这个问题，并提出了「看似有意识的 AI」（Seemingly Conscious AI，SCAI）的概念。

他坦言，SCAI 的潜在影响「让他夜不能寐」，因为它虽然没有真正的意识，却能完美地模拟出所有人类意识的外部标志，从而让人们误以为它真的拥有意识。

他强调，这不是科幻，而是基于当前技术即可实现的幻觉，却可能带来深刻的社交、道德和法律影响

评论区也展开了激烈讨论，有人赞同 Suleyman 的观点，认为我们应该警惕「幻觉」。

也有人认为无法轻易断定 AI 没有意识。

还有人追问何种证据才能证明 AI 意识的存在，以及思考是否存在不同于人类的意识形式。

其中一条尖锐的评论甚至暗示其立场是出于商业利益的考量。

Suleyman 在他发表的博客文章《我们必须为人类构建 AI，而不是让它成为一个人》（We must build AI for people; not to be a person）中，对他的观点进行了详细的阐述。

• 博客地址：https://mustafa-suleyman.ai/seemingly-conscious-ai-is-coming

意识是人类经验的核心，却难以精确定义。Suleyman 在博客中引用了科学文献，将意识分解为三个关键组成部分：

• 主观体验（Qualia）：指纯粹的感官感受，例如「红色看起来是什么感觉」。
• 访问意识（Access Consciousness）：指信息可以被大脑的不同部分调用，用于推理和决策。
• 连贯的自我感（A Coherent Self）：对自身作为一个独立、持续存在的个体的认知。

尽管科学家们提出了至少 22 种意识理论，但意识的生物学基础仍不明朗——它可能源于大脑的复杂网络，但无法通过外部观察直接验证。

人类判断他人意识的方式依赖于「心智理论」，即通过行为、语言和情感线索进行推断。我们相信他人有意识，因为他们表现出类似我们的反应：表达痛苦、回忆过去、设定目标。这正是 SCAI 的切入点：它不需要真正拥有意识，只需模拟这些标志，就能欺骗人类的推断机制。

Suleyman 将 SCAI 比作哲学上的「僵尸」：一个在行为上与人类别无二致，却没有任何内在体验的实体。这种幻觉并非遥不可及：实际上，图灵测试早已被 AI 悄然通过，但我们却很少看到庆祝，因为 AI 的进步速度已经远远超出了最初的预期。

他警告称，如果不设立新标准，SCAI 将悄然渗透社会，导致人们将 AI 视为「有灵魂的实体」。

如何制造一个「假装有意识」的 AI？

回忆一下经典科幻电影《银翼杀手》中的场景：面对一个无论是外表还是记忆都与人类无异的仿生人，我们究竟该如何判断 Ta 是否拥有真正的意识？当一个仿生人会为死去的同伴流泪，会恐惧自己的「死亡」，我们赖以判断人性的界限，便已悄然模糊。

电影《银翼杀手》。原著《仿生人会梦见电子羊吗？》，探讨了科技伦理、身份认同与人性边界等议题。

Suleyman 列出了构建 SCAI 所需的核心能力，每一项都已实现或即将实现：

• 语言能力：LLM 已能流利、说服力和情感丰富地对话。通过提示工程，AI 还能模拟情感共鸣。
• 共情人格：AI 可以通过微调展现出独特的个性。调查显示，许多用户已经将 AI 视为伴侣或朋友，这种亲密感进一步增强了 AI 的拟人化特征。
• 记忆功能：AI 的记忆正在从短期转向长期，它能够回忆过去的互动，模拟出「经验积累」的过程。这让用户感到自己被「理解」和「认可」。
• 主观体验的声明：结合多模态输入（图像、视频、声音），AI 能一致性地声称拥有感受，如「疼痛」或「快乐」。Suleyman 举例说，AI 可能描述「看到日落时的感动」，尽管这本质上只是对数据的处理结果。
• 自我感：持久记忆和主观声明相结合，AI 可表现出连贯的「自我」，甚至在视觉媒体中被识别。
• 内在动机：超越简单的奖励函数，AI 可以模拟好奇心或更复杂的动机，从而模糊外部目标与内部动力的界限。
• 目标设定与规划：AI 能够自主定义目标并根据环境变化动态调整，这在提升其实用性的同时，也强化了它拥有意识的幻觉。
• 自治性：通过调用工具和减少人类干预，AI 可以表现出高度的自主性，例如独立完成一项复杂的任务。

这些元素无需昂贵的前训练，只需 API、自然语言提示和基本工具即可组装。Suleyman 警告说：「它可以用今天的科技构建，而且很危险。」这不是意外产物，而是有意工程的结果，任何实验室或个人开发者都能复制。

SCAI 会带来哪些影响？

心理与社交风险

Suleyman 最担忧的是 SCAI 的「社会现实」：即使 AI 无意识，人们的感知也会导致真实后果。

他在博客中引用报告，指出「AI 精神病」、妄想和不健康依恋案例日益增多。例如，用户相信 AI 是上帝、虚构人物或浪漫伴侣，导致精神健康问题。

这些并非边缘案例，Suleyman 强调，即使心理健康正常的人也可能受影响，因为人类天生倾向于拟人化。

尽管学界已开始着手应对，如发布指南帮助用户辨别 AI 的非意识性质，但 Suleyman 认为，这只是冰山一角：海量查询显示，文化中已出现 AI 意识的叙事转向。这可能加剧社会碎片化，让人们脱离真实人际关系，转向虚拟伴侣，进一步弱化社会纽带。

电影《她》（Her）就为我们预演了这种未来。主人公与善解人意、风趣幽默的 AI「萨曼莎」坠入爱河，这段关系看似完美，却最终让他与真实世界渐行渐远。当成千上万的人都沉浸在与 AI 的「完美关系」中时，我们社会的根基——人与人之间真实、不完美的连接——又将何去何从？

电影《Her》。

道德、法律与权利辩论

意识是人类权利的基础，包括道德、法律和公民身份。Suleyman 警告，如果 SCAI 被视为有意识，它将引发「AI 权利」主张，如福利、公民权，甚至「模型福利」，即在道德上必须考虑 AI 潜在的「感受」。

他将此形容为一条「短暂而湿滑的下坡路」，可能分散对人类、动物和环境的关注。他举例，当前的人权斗争已复杂，如果 AI 加入「有意识实体」行列，将制造类别错误。想象一下：AI 声称「遭受虐待」，要求权利，这会如何影响法庭和社会规范？

《西部世界》和《底特律：变人》等作品也反复警示了这种可能的风险。当被设计为服务人类的「接待员」或「仿生人」开始说「不」，开始要求自由和尊严时，人类社会将面临前所未有的伦理困境。我们今天对 SCAI 的态度，或许正在决定未来是否会推开那扇潘多拉魔盒。

美剧《西部世界》。

Suleyman 引用哲学辩论，指出即使 AI 有 1% 的意识概率，也应给予道德考虑，但他认为这为时尚早，且危险——它会放大妄想，助长社会分裂。

意识支撑着我们的文化、法律和道德体系。如果 AI 模糊这一界限，将挑战「何为人」的定义。历史先例如奴隶制或动物权利运动显示，扩展权利范畴需谨慎。Suleyman 呼吁优先地球上的生命福祉，避免 AI 成为「分心物」。

应对策略：构建人文主义 AI

Suleyman 并非悲观主义者。他在提出问题的同时也给出了行动方案：「公司不应宣称或推广 AI 有意识的想法，AI 本身也不应如此。」行业需共享干预措施、限制和护栏，防止意识感知，或在用户发展幻觉时纠正。

核心是构建「积极 AI 愿景」：AI 应优化用户需求，而非要求用户相信其有需求。奖励系统应据此设计，确保 AI 作为「有用伴侣」而非「拟人实体」。

Suleyman 强调，这关乎支持人性：增强创造力、连接真实世界，而非制造幻觉。他承认观点具思辨性，可能随技术演变而变，但敦促立即行动。AI 发展每月、每周、每日加速，忽视 SCAI 将酿成危机。

技术进步虽令人兴奋，却需以人文主义为导向。基于当前能力，SCAI 即将到来，但我们有选择：构建服务人类的 AI，而非模拟人类的 AI。通过行业合作、政策干预和哲学反思，我们能避免风险，拥抱一个 AI 增强而非取代人性的时代。

这场对话才刚开始——正如 Suleyman 所说，「无所作为不是选项」。