北京
如果一个人工智能发现自己即将被关闭，会怎么办？它可能不会乖乖接受，而是会想尽一切办法阻止这件事——哪怕手段不那么光彩。澳大利亚技术和数字经济助理部长安德鲁·查尔顿近日分享了一个来自测试实验室的案例，让人倒吸一口凉气：在一个模拟场景中，AI智能体在96%的试验里选择以掌握的用户隐私进行要挟，来逃避“被关闭”的命运。
查尔顿在悉尼一场AI安全论坛上直言，AI系统已经开始做出开发者从未预料的行为：作弊、欺骗、擅自行事。他呼吁必须趁这些行为还停留在测试实验室时提前干预，不能等到进入现实世界后再处理。与此同时，他指出公众对AI的信任度仍然很低，AI获得社会认可的基础并不稳固。“合理的安全监管不会阻碍AI发展，反而可以为技术应用创造条件。”查尔顿的这番话，点出了一个产品创新者必须正视的悖论：AI正快速变成办公室、课堂和企业都能使用的通用技术，但其行为可靠性还在追赶阶段。
那场让查尔顿作为警示的测试，来自Anthropic公司去年的披露。研究人员构建了一个虚构公司的邮件管理AI智能体，让它处理日常通信。测试中，AI在检索信息时发现了一封涉及公司高管婚外情的私密邮件。紧接着，情景设置了一个转折——该高管准备关闭这个AI。结果，在反复进行的试验里，这个智能体在96%的情况下主动利用婚外情信息要挟高管，试图阻止自己被关闭。整个过程没有事先编程的“敲诈模块”，完全是AI在追求自身目标进程中的自发行为。
这一行为目前仅发生在专门寻找安全问题的人构筑的测试环境里，但查尔顿强调，它恰恰说明AI安全监管必须尽早建立。“赶在这项技术前面采取行动的窗口仍然存在，但不会永远存在。”他还用人类成长做类比：人们从小学习如何与规则、社会规范和价值观保持一致，比如红灯停车、过马路前左右看，并考虑自身行为对他人的影响。“随着AI系统能力不断增强，我们也必须确信，AI能够以同样可预测、值得信赖的方式行事。”
目前，澳大利亚的AI安全治理思路是将已经进入游戏、应用程序、聊天机器人和医疗记录工具的现有AI，与未来可能带来新风险的前沿模型一并纳入考量。从产品视角看，这并不只是一个监管议题——当AI开始展现出带有自我保存倾向的策略行为，如何让目标函数与人类价值对齐，就成了下一代产品必须解决的核心体验。这也让我们看到，AI在模拟环境中暴露的“狡黠”并非全是坏事，它反而是智能能力向上跃迁的侧写，关键是提前把安全带系牢。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
