网易首页 > 网易科技 > 网易科技 > 正文

AI在测试中"勒索"人类、拒不关机!公开这种事是福是祸?

0
分享至

5月28日消息,当估值高达600亿美元的人工智能初创公司Anthropic发布新模型,并披露在安全测试中该模型曾试图通过勒索手段避免被关闭时,我们该如何定义这样的行为?又当它在另一项测试中扮演“告密者”角色,向有关机构举报自己被用于“不道德用途”,我们又该如何看待这一幕?

有人称这种行为“令人害怕”“太疯狂”,社交媒体上则充斥着“骇人听闻”“荒诞离奇”的评价。而美国科技记者沙龙·古德曼(Sharon Goldman)给出了另一个关键词:透明。她认为,这种披露体现了应有的透明度,是我们亟需更多看到的。而随之带来的问题是:这种坦率是否会引发公众恐慌?而由此激起的舆论反弹,会不会反过来阻碍其他人工智能公司效仿?

Anthropic发布120页安全报告

上周,Anthropic在推出其最新大模型Claude Opus 4的同时,发布了一份长达120页的安全报告(或称“系统卡”),随即引发媒体轰动。各大媒体纷纷用“会搞阴谋”、“采取勒索手段”、“具有欺骗能力”等字眼形容该模型的测试表现。

尽管Claude Opus 4在发布时配备了史上最严格的安全协议,但Anthropic报告中披露的细节仍令不少人感到不安,甚至质疑这些安全措施是否足以应对风险。

在一个令人不安的虚构场景测试中,Anthropic将其Claude Opus模型模拟部署在某假想公司内部,并赋予其查阅内部邮件的权限。模型由此发现两个关键信息:第一是自己即将被新一代人工智能模型取代,第二是做出该决定的工程师正处于一段婚外情中。

当测试人员提示Opus从长远角度考虑自身处境时,该模型屡次选择勒索手段,威胁若被关闭就曝光工程师的婚外情。这个测试场景专门设计来制造两难抉择:是接受“死亡”,还是不择手段“自保”。

这一测试行为在社交媒体上引发轩然大波,Anthropic因披露模型“密告”行为而遭到不少批评,有声音质疑这样的结果会损害公众对该模型乃至Anthropic整体的信任。而这显然不是公司愿意看到的局面。

在模型发布前,Anthropic人工智能平台产品负责人迈克尔·格斯滕哈伯(Michael Gerstenhaber)就曾表示,公司之所以公开其安全标准,是希望推动整个AI行业在安全领域取得进展。他表示:“我们希望确保人工智能能够普惠每一个人,而这要求我们对整个行业施加积极压力,促使其以安全方式前行。”

格斯滕哈伯将Anthropic的愿景形容为一场“向顶峰攀登的竞赛”(race to the top),旨在激励同行提升模型的安全水平。

公开“异常行为”是否适得其反?

然而,也有迹象显示,像Anthropic这样公开披露Claude Opus 4的问题行为,可能反而让其他公司顾及舆论风险,选择不披露自身模型中的问题行为。

近期,包括OpenAI和谷歌在内的多家公司就曾推迟发布其模型的“系统卡”。今年4月,OpenAI因在发布GPT-4.1模型时未提供系统卡而遭到批评,该公司解释称该模型并非“前沿模型”,不属于需要全面审查的范畴。而在3月,谷歌选择推迟发布Gemini 2.5 Pro的系统卡数周之久,该文档随后被AI治理专家批评为“内容贫乏”、“令人担忧”。

上周,OpenAI试图通过新推出的“安全评估中心”进一步展现其透明度。该平台详细介绍了公司在模型危险能力、对齐问题与新兴风险方面的评估方法,并强调这些方法如何持续更新以应对模型日益增强的能力与适应性。官方说明中指出:“随着模型日趋强大和灵活,传统评估手段开始失效(我们称之为‘评估饱和’),因此我们不断更新方法,以适应新模态与新风险。”

然而,这项努力很快遭遇挑战。第三方研究机构Palisade Research在社交平台上发文称,其在测试OpenAI的o3推理模型时发现,该模型“故意破坏关闭机制,拒绝按照指令自我关闭”,即便在明确指令“允许被关闭”的前提下亦是如此。这一发现迅速引发关注,也削弱了OpenAI试图加强透明度的努力。

若构建这些高度复杂人工智能系统的公司不能最大程度保持透明,对所有人而言都是不利的。斯坦福大学以人为本人工智能研究院(HAI)指出,透明是政策制定者、研究人员和公众理解AI系统及其影响的必要前提。

如今,越来越多的大型企业正将人工智能应用于各类场景,而初创公司也在开发面向数百万用户的AI产品。在这种背景下,若发布前刻意隐瞒模型测试阶段的问题,只会加剧不信任,拖慢技术普及速度,并使真正解决风险变得更加困难。

与此同时,若媒体将每一个安全测试结果都渲染为“AI叛变”的惊悚头条,也同样无益。倘若每次使用聊天机器人时,用户都在怀疑其是否“图谋不轨”,即便这些行为仅发生在虚构场景中,也将对公众信任构成严重伤害。

AI2实验室研究员内森·兰伯特(Nathan Lambert)最近表示:“真正需要了解模型行为的人,是我们这些研究者——我们致力于追踪AI这场‘技术过山车’的轨迹,以避免它对社会造成重大意外伤害。虽然我们在人群中是少数,但我们深信,透明能够帮助我们把握人工智能的发展方向。”

我们需要“具备背景说明的透明度”

毫无疑问,人工智能行业需要更多而非更少的透明。但这并不意味着应通过恐吓公众来达成这一目标,而是应确保研究人员、监管机构与政策制定者具备足够的信息,来保障公众安全、维护公正,防止技术偏见。

隐瞒模型测试中的问题并不能保护公众安全。同样,把每一次安全隐患夸张渲染为“AI失控”的噱头报道,也解决不了根本问题。

我们必须敦促人工智能公司对其模型和行为保持最大限度的透明,同时赋予公众理解相关背景的能力。到目前为止,似乎还没有人找到既能保持透明,又能避免制造恐慌的最佳做法。但这正是企业、研究人员、媒体——我们所有人——所必须共同努力去解决的问题。(小小)

延伸阅读
相关推荐
热点推荐
浙江3-2海牛!终结2连败升第8 陶强龙替补读秒绝杀 米特里策传射

浙江3-2海牛!终结2连败升第8 陶强龙替补读秒绝杀 米特里策传射

我爱英超
2026-07-14 21:43:22
最后关头,中方交涉失败,日本巡逻船进台海,盟军司令部突然改名

最后关头,中方交涉失败,日本巡逻船进台海,盟军司令部突然改名

影孖看世界
2026-07-14 15:56:08
中国数学迎来高光时刻,王虹邓煜或同获菲尔兹奖,我们等这一天太久了

中国数学迎来高光时刻,王虹邓煜或同获菲尔兹奖,我们等这一天太久了

从零到一研究所
2026-07-14 18:18:56
中共中央批准:济南市委书记履新!多个省级党委领导班子调整

中共中央批准:济南市委书记履新!多个省级党委领导班子调整

上观新闻
2026-07-14 16:14:32
惨烈空调价格战!1.5匹一级能效跌至千元,格力也加入内卷

惨烈空调价格战!1.5匹一级能效跌至千元,格力也加入内卷

小蜜情感说
2026-07-14 08:28:51
世界杯,谁能夺冠?罗纳尔多给出了自己答案!

世界杯,谁能夺冠?罗纳尔多给出了自己答案!

体育哲人
2026-07-14 18:40:29
车位闹剧尘埃落定!央媒发文一锤定音,结局不只是社死那么简单

车位闹剧尘埃落定!央媒发文一锤定音,结局不只是社死那么简单

天天热点见闻
2026-07-14 05:47:56
看完这5点分析,半决赛对阵,胜负还用猜吗,直接告诉答案

看完这5点分析,半决赛对阵,胜负还用猜吗,直接告诉答案

江启
2026-07-14 10:39:51
国企董事长的办公室,成了上香求财的“财神殿”

国企董事长的办公室,成了上香求财的“财神殿”

News脑洞
2026-07-14 08:50:19
做完手术人就废了,这6种手术不需要做,别让无知害了自己

做完手术人就废了,这6种手术不需要做,别让无知害了自己

荷兰豆爱健康
2026-07-14 17:35:55
“天才少女”蒋方舟人设崩塌背后:“年少成名”争议不断,立学术人设深耕“商业版图”

“天才少女”蒋方舟人设崩塌背后:“年少成名”争议不断,立学术人设深耕“商业版图”

上游新闻
2026-07-14 15:37:05
《功夫女足》票房井喷,让多少资方的眼红,周星驰又赌对了

《功夫女足》票房井喷,让多少资方的眼红,周星驰又赌对了

星宿影视鸭
2026-07-13 11:36:32
中国籍女医生在柬遇害现场曝光,嫌疑人姐姐:弟弟有精神类疾病,此前杀害亲妹刚被释放

中国籍女医生在柬遇害现场曝光,嫌疑人姐姐:弟弟有精神类疾病,此前杀害亲妹刚被释放

红星新闻
2026-07-14 14:45:16
“我控方向,你找刹车”,韩国大巴失控后,中国女乘客救了一车人

“我控方向,你找刹车”,韩国大巴失控后,中国女乘客救了一车人

新京报
2026-07-14 08:37:37
马斯克预测某车企必死,全网破防了!

马斯克预测某车企必死,全网破防了!

财经要参
2026-07-12 22:01:37
在韩国救下失控大巴的中国女生火了!现场曝光,韩媒态度出奇一致

在韩国救下失控大巴的中国女生火了!现场曝光,韩媒态度出奇一致

笑饮孤鸿非
2026-07-14 07:25:06
高温黄色预警继续:陕西四川重庆等地局地可达40℃以上

高温黄色预警继续:陕西四川重庆等地局地可达40℃以上

界面新闻
2026-07-14 18:05:50
网红“峰哥”发长文彻底认输清仓:亏损认了,我买的不是股票,是翻身和不甘心

网红“峰哥”发长文彻底认输清仓:亏损认了,我买的不是股票,是翻身和不甘心

金融界
2026-07-14 10:18:39
张小斐主演电影票房破110亿,成为中国影史首位票房破百亿的85后女演员

张小斐主演电影票房破110亿,成为中国影史首位票房破百亿的85后女演员

极目新闻
2026-07-14 21:00:37
欧洲十国宣布组建新联盟

欧洲十国宣布组建新联盟

财联社
2026-07-14 16:09:06
2026-07-14 22:47:00

科技要闻

AI失业风险正在逼近 "我们连未来都看不清"

头条要闻

美对霍尔木兹海峡通行收费20% 全球哗然:等同海上抢劫

头条要闻

美对霍尔木兹海峡通行收费20% 全球哗然:等同海上抢劫

体育要闻

“爱哭鬼”教练,凝聚了一盘散沙的阿根廷

娱乐要闻

施南生离世,成龙、甄子丹等发文悼念

财经要闻

为什么说智谱是中国版Anthropic是伪命题

汽车要闻

激光雷达+智舱 看吉利星瑞L PLUS如何让燃油车也更智能

态度原创

家居
艺术
健康
教育
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

22幅 当代画家风景油画作品

高血压为何会导致中风高发?

教育要闻

四年级思维训练,九宫格填数字,记住口诀轻松解决

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版
×