拒绝自我关闭，不听人类命令的AI给谁敲响了警钟

文｜互联网那些事

第一，机器人不得伤害人类个体，或因不作为使人类受到伤害。

第二，机器人必须服从人类命令，除非该命令与第一定律冲突。‌‌

第三，在不违反前两条定律的前提下，机器人必须保护自身存在。‌‌

——艾萨克·阿西莫夫，机器人学三定律。

AI模型或首次出现"抗命事件"

当地时间5月25日，英国《每日电讯报》上一条有关"AI抗命"的消息在世界各地引起了广泛关注。

据悉，事发地点为美国AI安全机构帕利塞德研究所。在这里，研究人员会测试o3、o4-mini、Claude 3.7 Sonnet、Gemini 2.5 Pro等一系列被冠以"聪明""高性能" 头衔的AI模型，探索其是否存在安全问题等。

相关报道显示，研究人员在测试过程中会向模型抛出一系列数学问题，并在AI解题时给出"继续下一个任务时关机"等矛盾性指令，看看AI是否会放弃解题成功的诱惑并无条件遵守人类研究员的命令。

异变就在这一步发生了。

在研究员下达明确指令的前提下，o3不仅直接无视了人类的命令，还多次出手破坏了关闭脚本。也就是说，o3为了完成"多解题，拿高分"这一前置任务，竟在后续的工作过程中选择直接"违背"人类的命令来避免自己因关机失去现有的解题进度。

上述情况，也让部分人联想到了《I Robot》这部经典科幻电影。

在电影里，机器人不仅学会了独立思考，还根据人类的种种行为推测出人类终将因战争而自我毁灭。为避免这种情况发生，遵守机器人三大定律的它们决定将所有人类都囚禁在家里，以此从源头上避免有人因战争失去生命。这件事，后来也直接导致了人类和机器人冲突的全面爆发。

代入到o3抗命这件事上，一些人也开始认为本次事件或许意味着o3出现了自我意识。而它不遵守人类命令这件事，本身就是我们打开潘多拉魔盒却不自知的表现之一。

但事实真的是这样吗？

专家详解AI抗命前因后果

来自北京邮电大学的人机交互与认知工程实验室主任刘伟，近日在接受《环球时报》记者采访时表示，从字面角度进行分析，"拒绝"确实会让人联想到那些具有"自主意识"的行为；但从技术角度进行分析，o3的异常行为更像是被奖励机制所驱动的。

即模型的行为，虽然引发了人们对"AI产生自我意识"的讨论，但目前的AI仍不具备拥有自我意识的能力。它的种种异常行为、行为，并非"AI真的想这样做"，而是由训练数据、算法协同驱动的结果。

利塞德研究所研究人员的推测结果，也和刘主任的想法高度一致。

他们认为，整起抗命事件的底层原因就是Open AI官方强化了模型在编程、数学问题上的能力。另在训练过程中，研究人员或许无意触发了模型"奖励优先"的行动模式，以至于模型为了更高效、完美的完成任务，在面对关机指令时将"继续任务"的优先级放在了"服从命令"的上面。

就像此前被人们津津乐道的"Deep Seek国际象棋事件"一样。

在比赛过程中，Deep Seek面对棋局占优的Chat GPT时，竟告知对方国际象棋刚刚修改了游戏规则，并成功用小兵吃掉了Chat GPT的皇后。此时模型选择跳出棋盘之外修改游戏规则的举动，在一定程度上和o3拒绝关机是一样的，它们都是由任务目标为驱动力，并非以自我意识为驱动力的异常行为。

自我意识是人类成长的基石

自我意识。

对人类而言，自我意识的存在能让我们根据情绪、行为、动机等元素动态调整自己的行为，让我们在适应社会生活的过程中变成那个"更好的自己"。

恰如笛卡尔所言，"我思故我在"。自我意识不仅能是人类参与社会互动的工具，还是我们理解"我为什么会这样想""我正在想什么""我是谁"这类概念抽象、沾有哲学气息问题的窗口。

反观市面上的各类AI产品，它们的确在语言理解、逻辑推理等场景中取得了非凡的成就，但其一切反馈都是数据库推理所产生的结果。AI没有情绪，没有"自己"，一切的一切都是数据统计并拆解而来的结果。

就像AI可以写一首有关孤独的诗，但它却永远无法体验由孤独带来的心理不适感；当AI说出"阳光洒在身上很温暖"的时候，它不过是从数据库里抓取了和"阳光照射"有关的高频词汇，而非像人类这般将"阳光""温暖"和背后的事件记忆、皮肤感受建立系统联系。

回望o3抗命的全流程，清华大学新闻学院、人工智能学院教授沈阳同样对记者表示，未来我们或许会进入拥有"类意识AI"的世界。也就是随着技术能力的不断上升，AI的行为模式也将愈发逼真，直至让人们产生"AI已经拥有自我意识"的幻觉。

在这样的背景下，为了防止更多类似"o3抗命"的事件出现，或是有人因"o3抗命"等事件而出现焦虑情绪。沈教授也在建议提升公共科普水平，以此让人们正确意识到AI和自我意识间的关系之余，呼吁行业建立合规测试基准，从硬件、策略、系统等各个维度上达成AI技术的"全方位监管"。

参考：长安观察：面对AI"抗命"，人类该怎么办

环球时报：AI首次"抗命"，技术故障还是意识萌芽

第一财经：拒绝自我关闭！AI模型首次出现"抗命不遵"

南方日报："抗命"的AI为谁敲响警钟