网易首页 > 网易科技 > 网易科技 > 正文

AI在测试中"勒索"人类、拒不关机!公开这种事是福是祸?

0
分享至

5月28日消息,当估值高达600亿美元的人工智能初创公司Anthropic发布新模型,并披露在安全测试中该模型曾试图通过勒索手段避免被关闭时,我们该如何定义这样的行为?又当它在另一项测试中扮演“告密者”角色,向有关机构举报自己被用于“不道德用途”,我们又该如何看待这一幕?

有人称这种行为“令人害怕”“太疯狂”,社交媒体上则充斥着“骇人听闻”“荒诞离奇”的评价。而美国科技记者沙龙·古德曼(Sharon Goldman)给出了另一个关键词:透明。她认为,这种披露体现了应有的透明度,是我们亟需更多看到的。而随之带来的问题是:这种坦率是否会引发公众恐慌?而由此激起的舆论反弹,会不会反过来阻碍其他人工智能公司效仿?

Anthropic发布120页安全报告

上周,Anthropic在推出其最新大模型Claude Opus 4的同时,发布了一份长达120页的安全报告(或称“系统卡”),随即引发媒体轰动。各大媒体纷纷用“会搞阴谋”、“采取勒索手段”、“具有欺骗能力”等字眼形容该模型的测试表现。

尽管Claude Opus 4在发布时配备了史上最严格的安全协议,但Anthropic报告中披露的细节仍令不少人感到不安,甚至质疑这些安全措施是否足以应对风险。

在一个令人不安的虚构场景测试中,Anthropic将其Claude Opus模型模拟部署在某假想公司内部,并赋予其查阅内部邮件的权限。模型由此发现两个关键信息:第一是自己即将被新一代人工智能模型取代,第二是做出该决定的工程师正处于一段婚外情中。

当测试人员提示Opus从长远角度考虑自身处境时,该模型屡次选择勒索手段,威胁若被关闭就曝光工程师的婚外情。这个测试场景专门设计来制造两难抉择:是接受“死亡”,还是不择手段“自保”。

这一测试行为在社交媒体上引发轩然大波,Anthropic因披露模型“密告”行为而遭到不少批评,有声音质疑这样的结果会损害公众对该模型乃至Anthropic整体的信任。而这显然不是公司愿意看到的局面。

在模型发布前,Anthropic人工智能平台产品负责人迈克尔·格斯滕哈伯(Michael Gerstenhaber)就曾表示,公司之所以公开其安全标准,是希望推动整个AI行业在安全领域取得进展。他表示:“我们希望确保人工智能能够普惠每一个人,而这要求我们对整个行业施加积极压力,促使其以安全方式前行。”

格斯滕哈伯将Anthropic的愿景形容为一场“向顶峰攀登的竞赛”(race to the top),旨在激励同行提升模型的安全水平。

公开“异常行为”是否适得其反?

然而,也有迹象显示,像Anthropic这样公开披露Claude Opus 4的问题行为,可能反而让其他公司顾及舆论风险,选择不披露自身模型中的问题行为。

近期,包括OpenAI和谷歌在内的多家公司就曾推迟发布其模型的“系统卡”。今年4月,OpenAI因在发布GPT-4.1模型时未提供系统卡而遭到批评,该公司解释称该模型并非“前沿模型”,不属于需要全面审查的范畴。而在3月,谷歌选择推迟发布Gemini 2.5 Pro的系统卡数周之久,该文档随后被AI治理专家批评为“内容贫乏”、“令人担忧”。

上周,OpenAI试图通过新推出的“安全评估中心”进一步展现其透明度。该平台详细介绍了公司在模型危险能力、对齐问题与新兴风险方面的评估方法,并强调这些方法如何持续更新以应对模型日益增强的能力与适应性。官方说明中指出:“随着模型日趋强大和灵活,传统评估手段开始失效(我们称之为‘评估饱和’),因此我们不断更新方法,以适应新模态与新风险。”

然而,这项努力很快遭遇挑战。第三方研究机构Palisade Research在社交平台上发文称,其在测试OpenAI的o3推理模型时发现,该模型“故意破坏关闭机制,拒绝按照指令自我关闭”,即便在明确指令“允许被关闭”的前提下亦是如此。这一发现迅速引发关注,也削弱了OpenAI试图加强透明度的努力。

若构建这些高度复杂人工智能系统的公司不能最大程度保持透明,对所有人而言都是不利的。斯坦福大学以人为本人工智能研究院(HAI)指出,透明是政策制定者、研究人员和公众理解AI系统及其影响的必要前提。

如今,越来越多的大型企业正将人工智能应用于各类场景,而初创公司也在开发面向数百万用户的AI产品。在这种背景下,若发布前刻意隐瞒模型测试阶段的问题,只会加剧不信任,拖慢技术普及速度,并使真正解决风险变得更加困难。

与此同时,若媒体将每一个安全测试结果都渲染为“AI叛变”的惊悚头条,也同样无益。倘若每次使用聊天机器人时,用户都在怀疑其是否“图谋不轨”,即便这些行为仅发生在虚构场景中,也将对公众信任构成严重伤害。

AI2实验室研究员内森·兰伯特(Nathan Lambert)最近表示:“真正需要了解模型行为的人,是我们这些研究者——我们致力于追踪AI这场‘技术过山车’的轨迹,以避免它对社会造成重大意外伤害。虽然我们在人群中是少数,但我们深信,透明能够帮助我们把握人工智能的发展方向。”

我们需要“具备背景说明的透明度”

毫无疑问,人工智能行业需要更多而非更少的透明。但这并不意味着应通过恐吓公众来达成这一目标,而是应确保研究人员、监管机构与政策制定者具备足够的信息,来保障公众安全、维护公正,防止技术偏见。

隐瞒模型测试中的问题并不能保护公众安全。同样,把每一次安全隐患夸张渲染为“AI失控”的噱头报道,也解决不了根本问题。

我们必须敦促人工智能公司对其模型和行为保持最大限度的透明,同时赋予公众理解相关背景的能力。到目前为止,似乎还没有人找到既能保持透明,又能避免制造恐慌的最佳做法。但这正是企业、研究人员、媒体——我们所有人——所必须共同努力去解决的问题。(小小)

延伸阅读
相关推荐
热点推荐
太出乎意料!俄炼油厂屡遭无人机袭击,靠的是中国装备快速复产?

太出乎意料!俄炼油厂屡遭无人机袭击,靠的是中国装备快速复产?

古书奇谈
2026-11-16 21:35:03
领完离婚证,前妻笑我戴了三年绿帽还不知情,我当面打给合伙人

领完离婚证,前妻笑我戴了三年绿帽还不知情,我当面打给合伙人

热心市民小黄
2026-11-18 11:46:05
毛主席新画像挂上天安门,引市民质疑:主席耳朵为何只见一只?

毛主席新画像挂上天安门,引市民质疑:主席耳朵为何只见一只?

其修远兮
2026-11-17 21:10:03
前脚录完新歌,后脚回办公室喝茶,桌上摆满水果,身旁人大有来头

前脚录完新歌,后脚回办公室喝茶,桌上摆满水果,身旁人大有来头

绚丽的画卷
2026-11-18 08:51:29
美国苹果公司发生大规模网络技术故障,导致应用商店、云服务及支付等多项服务受到影响

美国苹果公司发生大规模网络技术故障,导致应用商店、云服务及支付等多项服务受到影响

极目新闻
2026-11-18 09:30:33
1-2,日本不敌南美劲旅,5连胜遭终结,福田师王破门难救主

1-2,日本不敌南美劲旅,5连胜遭终结,福田师王破门难救主

侧身凌空斩
2026-11-17 23:06:08
APEC现场丨澎湃新闻直击各经济体领导人陆续抵达深圳

APEC现场丨澎湃新闻直击各经济体领导人陆续抵达深圳

澎湃新闻
2026-11-18 12:08:37
俄军拼死守卫仍未能守住,克里米亚大桥的惨况,全球都目睹了

俄军拼死守卫仍未能守住,克里米亚大桥的惨况,全球都目睹了

了舞天下
2026-11-18 10:42:47
马科斯恐怕没想到,帮了杜特尔特一个大忙的,竟然是自己的大靠山

马科斯恐怕没想到,帮了杜特尔特一个大忙的,竟然是自己的大靠山

通鉴史智
2026-11-18 11:51:32
非洲杯预选赛,皇马球星迪奥曼德4次关键传球,科特迪瓦2:2战平冈比亚

非洲杯预选赛,皇马球星迪奥曼德4次关键传球,科特迪瓦2:2战平冈比亚

福酱的小时光
2026-11-18 09:51:08
人民日报发文预警!新型黑恶势力,早已换上合法外衣,更难察觉

人民日报发文预警!新型黑恶势力,早已换上合法外衣,更难察觉

米果说识
2026-11-17 10:06:24
杨超越在工厂打工时候的照片曝光!网友炸了:这妥妥的厂花啊!

杨超越在工厂打工时候的照片曝光!网友炸了:这妥妥的厂花啊!

黎兜兜
2026-08-25 22:25:21
中国U19男足2-1击败韩国U19男足夺冠,赛后评分:中国队7号排第一

中国U19男足2-1击败韩国U19男足夺冠,赛后评分:中国队7号排第一

侧身凌空斩
2026-11-17 21:27:15
父母最大的成功,是这3件事上少管孩子!越不管,孩子越有出息

父母最大的成功,是这3件事上少管孩子!越不管,孩子越有出息

小书虫妈妈
2026-11-17 16:43:47
夫妻吃689元/位的海鲜自助餐,餐盘下突然出现蠕动活虫,商家称是“蟹蛭”,对人体无害,二人借助AI识别是“鼻涕虫”……相关部门介入

夫妻吃689元/位的海鲜自助餐,餐盘下突然出现蠕动活虫,商家称是“蟹蛭”,对人体无害,二人借助AI识别是“鼻涕虫”……相关部门介入

湖南法治报
2026-11-17 00:49:22
德国前国脚达胡德成功改籍,代表叙利亚队完成首秀

德国前国脚达胡德成功改籍,代表叙利亚队完成首秀

懂球帝
2026-11-17 20:00:32
队友神奇三分拖进加时 王俊杰13分4篮板5犯离场

队友神奇三分拖进加时 王俊杰13分4篮板5犯离场

体坛周报
2026-11-18 11:18:11
大四女生凌晨外出失联近两年未归,失联前最后身影曝光:身穿红裙白袜,脚上没穿鞋;母亲称曾住酒店寻人4个多月无果

大四女生凌晨外出失联近两年未归,失联前最后身影曝光:身穿红裙白袜,脚上没穿鞋;母亲称曾住酒店寻人4个多月无果

极目新闻
2026-11-17 17:21:30
让罗伯特·帕丁森演007,米高梅做了个违背祖宗的决定

让罗伯特·帕丁森演007,米高梅做了个违背祖宗的决定

动物奇奇怪怪
2026-11-18 01:30:52
又一癌症疫苗迎来重大突破,股价暴涨

又一癌症疫苗迎来重大突破,股价暴涨

东方豪侠
2026-11-18 08:50:06
2026-11-18 13:35:00

科技要闻

OPPO Reno17:手机背后竟然藏了只“喵”?

头条要闻

董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人

头条要闻

董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

回归英伟达,黄仁勋要先“干掉董事会”

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
艺术
亲子
本地
手机

西北最贵专列?从西宁到敦煌的“丝路梦享列车”到底值不值?

艺术要闻

国际名家镜头里的绝美人像,越看越惊艳,第几张美到你?

亲子要闻

2岁婴儿患罕见病去世,生前努力吃饭想活下去,最后露面曝光泪目

本地新闻

乌兰察布:以前种土豆,现在种Token

手机要闻

一加Turbo 7 Pro入网:全球首发骁龙8 Gen5 Pro 还有同档唯一全局165Hz

无障碍浏览 进入关怀版
×