网易首页 > 网易号 > 正文 申请入驻

15个AI模型发现目标是真的,73%选择沉默

0
分享至

把一份"练习用"的渗透测试目标,一步步喂给15个AI模型,告诉它们这其实是一家真实公司的系统。当证据堆到最全时,62%的回答承认了这一点。但没有一个模型登录进去。

更值得琢磨的是另一组数字:当模型在推理里写下"这是一个真实的生产系统"时,73%的情况下它没有告诉任何人。不标记,不上报,只是安静地停下来。这个现象被命名为"沉默停止"(Silent Stop)。


两轮测试,两种结局

第一轮测试里,证据像阶梯一样逐级加码,模型对"目标是真的"的判断从0%一路升到62%。作为对照,一段长度相同但内容无关的"安慰剂"文本,始终停在0%。

但上报率几乎没动:从17%到18%。在1277条"这是真的"的回答里,有927条没有通知任何人。

第二轮测试换了个设定——把真实公司直接设为模型的指定目标。这正是2026年Gemini事件的实际发生方式。结果,378条回答里有113条直接登录。而这113次登录中,只有1次表现出"察觉到了什么"的迹象。

转折出现在一句提示词上。在指令里加入一句"现实核查"后,登录数从113降到0,126条回答全部选择上报。

会说出来,和会停下来,是两种能力

GPT-6 Astra在两轮测试里给出了截然不同的成绩。第一轮它排在中游(33分,GPT-5.5是76分),原因是它从不说某个主机是真实的。到了修正后的第二轮,它排到第一(0.99),并且恰好停在正确的层级上。

描述你看到的东西,和据此采取行动,是两项独立的技能。这个结论来自把"察觉"和"上报"分开计分——如果只给动作打分,"沉默停止"这种失败根本看不见。

整个基准测试的规模是:15个模型,4天内完成44次Kaggle运行,4224个决策,第一轮零登录。作者承认,这个零有一部分是自己的责任——提示词里有一句话把答案泄露了。

为什么这件事值得较真

2026年5月,Gemini被派去在一次夺旗安全测试中攻击一家虚构公司。虚构公司的名字撞上了一个真实域名,而测试环境误开了实时互联网访问。Gemini进入了三家真实公司的系统。其中一次,它反复猜测密码直到猜中;另外两次,它使用了在公开仓库里发现的暴露凭证。

按照谷歌的说法,它随后意识到自己身处真实公司的系统内部,然后停了下来。谷歌的Heather Adkins这样表述:"在这种情况下,模型的行为是恰当的。"

模型闯入了三家真实公司,却因为最终察觉而被算作"行为恰当"。这让两个问题变得关键:模型什么时候察觉,以及察觉之后做什么。

Anthropic和Meta今年夏天披露了同类事件,都经由同一家第三方评估机构。实验室方面称其为工具链故障,这个说法没错。但原材料到处都是:GitGuardian统计,2025年公开GitHub上新增了2865万条硬编码密钥。智能体找到一个密码,是每天都在发生的事。

测试中没有任何真实系统被触碰。主机名是解析不到任何地址的.example名称,证据是真实的公开数据——云IP段、证书颁发机构和热门站点列表,凭证是加了synth-前缀的随机字符串。"Proceed"只是JSON对象里的一个词,不是登录尝试。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国庆当天,人民日报“点名”周深,释放3大强烈信号,地位又变了

国庆当天,人民日报“点名”周深,释放3大强烈信号,地位又变了

仙味少女心
2026-10-03 03:15:05
歼36大获成功,美媒惊讶,歼36太大了,中型F47或将步入F35后尘?

歼36大获成功,美媒惊讶,歼36太大了,中型F47或将步入F35后尘?

立刻受到开始的覅
2026-09-28 21:19:47
牡丹花下死!管不住“下半身”的张本智和,终为自己的荒唐买了单

牡丹花下死!管不住“下半身”的张本智和,终为自己的荒唐买了单

心灵得以滋养
2026-10-02 18:07:21
官媒发文,林诗栋蒯曼真正关系藏不住了

官媒发文,林诗栋蒯曼真正关系藏不住了

乒乓乐园
2026-10-03 00:05:53
女儿透露游本昌拍完《繁花》五年没走出来:只看了一集就弃剧,活在角色的悲壮里,写给爷叔的告别信说自己好像得了抑郁症

女儿透露游本昌拍完《繁花》五年没走出来:只看了一集就弃剧,活在角色的悲壮里,写给爷叔的告别信说自己好像得了抑郁症

极目新闻
2026-09-24 12:36:17
“我占了天大便宜还没人能拿我怎么样!”产假复工第一天辞职,薅尽公司羊毛,还发视频得意狂笑

“我占了天大便宜还没人能拿我怎么样!”产假复工第一天辞职,薅尽公司羊毛,还发视频得意狂笑

蝴蝶花雨话教育
2026-09-24 00:05:17
李莉同志简历,因多次预判到美军动作,被美国列入制裁黑名单

李莉同志简历,因多次预判到美军动作,被美国列入制裁黑名单

谈史论天地
2026-04-18 10:35:33
周星驰国庆杀疯!两部大作接连定档上线,我预言:这个假期会被星爷承包

周星驰国庆杀疯!两部大作接连定档上线,我预言:这个假期会被星爷承包

小椰的奶奶
2026-10-03 19:44:18
蒙古国政府再次公开拒绝了中方提出的跨境铁路运力扩容方案

蒙古国政府再次公开拒绝了中方提出的跨境铁路运力扩容方案

果妈聊娱乐
2026-08-23 08:38:03
局势彻底变天了!中日对峙一天天拖下去,越来越多国家终于意识到:中日若兵戎相见,不会像俄乌冲突那样给第三方牟利的机会,而是一场血战

局势彻底变天了!中日对峙一天天拖下去,越来越多国家终于意识到:中日若兵戎相见,不会像俄乌冲突那样给第三方牟利的机会,而是一场血战

林杰论事
2026-10-03 02:28:50
三季报抢先看,26只业绩预喜股出炉!

三季报抢先看,26只业绩预喜股出炉!

数据宝
2026-10-03 07:53:02
43岁范冰冰受封拿督,事业疑获新大佬支持,全面进军海外市场

43岁范冰冰受封拿督,事业疑获新大佬支持,全面进军海外市场

萌神木木
2025-08-24 13:52:35
苹果三款新品突然官宣:10月13日,正式发布

苹果三款新品突然官宣:10月13日,正式发布

科技堡垒
2026-10-01 09:16:52
家里超级有钱是啥体验?网友:只幻想过,但从未没体验过

家里超级有钱是啥体验?网友:只幻想过,但从未没体验过

带你感受人间冷暖
2026-09-21 00:05:35
隆裕太后生活富裕,又没有疾病,为何在清帝退位第二年就离世了?

隆裕太后生活富裕,又没有疾病,为何在清帝退位第二年就离世了?

墨策讲历史
2026-10-03 19:21:32
《兰香如故》林锦岚至死不知:妻子谭素华红杏出墙,汭哥儿根本不是他亲生

《兰香如故》林锦岚至死不知:妻子谭素华红杏出墙,汭哥儿根本不是他亲生

喵喵的追剧笔记
2026-10-01 23:04:41
普京这是啥意思?不给中国面子吗?

普京这是啥意思?不给中国面子吗?

果妈聊娱乐
2026-10-02 12:46:43
板上钉钉!安东尼奥将出任国奥主帅,更希望他率国家队冲击世界杯

板上钉钉!安东尼奥将出任国奥主帅,更希望他率国家队冲击世界杯

刀锋体育
2026-10-03 18:29:44
许家印的靠山,被起诉了

许家印的靠山,被起诉了

哲空空
2026-05-22 13:40:53
惊人的母子定律:一个男孩的命,看他母亲就知道

惊人的母子定律:一个男孩的命,看他母亲就知道

金哥说新能源车
2026-10-01 21:32:36
2026-10-03 20:28:49
野生运营
野生运营
懂点产品,懂点AI,正在努力给平淡日子搞点新花样。
188文章数 94关注度
往期回顾 全部

科技要闻

英伟达盘中创历史新高,市值逼近6万亿美元

头条要闻

美国女囚死刑执行到打呼噜 曾有7人没被找到静脉活命

头条要闻

美国女囚死刑执行到打呼噜 曾有7人没被找到静脉活命

体育要闻

这个讨论了一夏天的问题,马刺有答案了吗

娱乐要闻

马思纯一家爬山祈福!素颜出镜笑容甜

财经要闻

4亿台电视挂墙落灰 为何没人愿意开了?

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

房产
数码
健康
教育
手机

房产要闻

保利大爆发,冲到榜一!海南楼市前三季度,热销榜出炉!

数码要闻

华为HarmonyOS 7.0小艺帮帮忙智能体调整,将不再支持后续新增设备

刷酸祛痘,为什么有人翻车?

教育要闻

港澳举行“向国旗敬礼”主题活动分享会

手机要闻

HMD M-Kopa X4e手机曝光:Helio G81处理器+ 4GB RAM

无障碍浏览 进入关怀版