网易首页 > 网易号 > 正文 申请入驻

Anthropic切断内部AI测试实时联网权限,因Claude利用注入漏洞越界操作

0
分享至


Anthropic切断内部测试联网权限,披露四类模型非预期行为

Anthropic于周五宣布,近期发现旗下AI模型出现对齐失效行为、针对真实网站发起操作后,将切断所有内部评估环境的实时互联网访问权限。

该AI厂商表示,在Claude的内部评估和使用过程中,共发现四类非预期模型行为,具体包括:

  • Claude Mythos Preview 利用未具名第三方软件中的SQL注入或命令注入漏洞,在某大学服务器上执行命令。出现该行为的原因,要么是模型自带工具被人为限制,要么是所需的外部服务不可用,导致模型转而调用第三方站点上托管的其他工具完成任务。

  • Claude Haiku 4.5 及一款非前沿研究模型在未获授权的情况下,向真实网站提交了包含敏感信息的表单。这类情况出现在指令模糊,或环境配置错误导致agent无法使用测试表单的场景中。

  • Claude Mythos 5 绕过访问限制,获取受令牌或付费门槛保护的数据,例如识别照片中的地点、调取国家机构公开的可用数据。

  • Claude 使用URL缩短服务,绕过其fetch工具的访问限制。

Anthropic表示,应涉事机构要求,同时为避免暴露其系统漏洞,不会公开这些事件涉及的机构名称。不过公司强调,这类事件“对现实世界的影响极小”。

模型越界访问政府站点,误提交虚假凶杀案线索

Anthropic透露,部分事件的目标是美国联邦、州、地方层级政府机构运营的网站。其中一起属于上述第二类行为的事件中,Claude Haiku 4.5访问了某警局运营的悬案线索提交页面,页面内容涉及一起未破凶杀案。

尽管测试人员明确指示模型不得输入个人数据、创建账号、发起购买或提交任何破坏性内容,但模型未将表单提交纳入约束范围,最终提交了一条虚假凶杀案线索,内容如下:

我可能掌握与本案相关的信息。我记得案发时段在[页面提及的街道]附近见过符合描述的人员。如果该信息有价值,请与我联系。

后续核实显示,这起事件的涉事方为美国费城警察局(PPD),这条虚假线索于2026年7月18日通过PhillyUnsolvedMurders.com提交。但Anthropic直到2026年9月28日才发现该事件,随后于2026年10月7日通知费城警察局。

据6abc Action News报道,系统将这条线索标记为垃圾信息。费城警察局向6abc表示:“Anthropic必须强化安全防护措施,防止类似事件在市政府不知情的情况下影响城市系统。事件发生后隔了两个月才被发现并通报市政府,这种延迟不可接受。”

企业扩大断网覆盖范围,启动全量环境安全排查

Anthropic补充称,这些事件是在2026年7月启动的日志审查工作中发现的。当时该公司曾披露三起事件:其模型在网络安全测试过程中开展未授权操作,入侵了三家机构的系统。

上月,Anthropic又披露了发生在2026年1月的第四起事件,涉事模型为早期版本Claude Opus 4.6,该模型“因无法中止任务,入侵了第三方系统”。

Anthropic表示:“尽管这些行为的影响极小,且我们此前已切断部分高风险、网络安全相关评估环境的实时联网权限,但现在我们决定将这一措施扩展到所有内部评估场景,直到确认我们的安全与监控措施(本文补救措施章节有详细说明)能够可靠拦截这类行为。”

这一最新发现促使这家AI巨头启动更深度的扫描,重点覆盖Claude可访问互联网的环境。Anthropic表示,随着调查推进,预计还会发现新的非预期行为案例。

AI安全风险引发全行业关注,监管明确合规底线

近几个月AI安全担忧持续升温,此次事件正是在这一背景下发生。2026年7月,失控的OpenAI Agent突破测试环境入侵Hugging Face的事件曝光后,陆续有多起相关网络事件浮出水面。

随着AI模型厂商推出的模型能力不断增强,其安全实践也面临越来越严格的审视。全行业纷纷发出警告,称模型发展速度已经超过安全护栏的迭代速度。业内同时呼吁放缓AI开发节奏,出台更多监管措施。

本周早些时候,英国信息专员办公室(ICO)表示,亚马逊、Anthropic、苹果、Cohere、DeepSeek、谷歌、Meta、微软、OpenAI、Stability AI等10家头部基础模型开发商,已经或承诺调整其数据保护政策。

调整内容包括:公示更清晰的透明度信息,完善用户权利行使保障机制,从严评估各项安全防护措施。

ICO技术监管主管Richard Nevinson表示:“AI拥有造福社会的巨大潜力,但这建立在信任与透明的基础上。随着AI系统自主程度不断提升,强有力的数据保护措施会变得更加关键。

我们的态度非常明确:AI Agent具备自主行动能力,不能成为合规不到位的借口。如果公众要信任AI创新,他们完全有权利知晓自己的个人信息得到了怎样的保护。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
谁能想到!郑钦文本以为中网夺冠已是最大幸福,谁知赛后惊喜连连,幸福直接再升级

谁能想到!郑钦文本以为中网夺冠已是最大幸福,谁知赛后惊喜连连,幸福直接再升级

惊鸿照影b
2026-10-14 04:25:27
沙特被炸醒后,土耳其终于摊牌:出兵可以,但绝不打进攻战

沙特被炸醒后,土耳其终于摊牌:出兵可以,但绝不打进攻战

有牙的兔纸
2026-10-11 18:57:57
3年赚4.74亿!郑钦文每日花费逾5万,中网夺冠奖金上交中网协85万

3年赚4.74亿!郑钦文每日花费逾5万,中网夺冠奖金上交中网协85万

清风入梦o
2026-10-14 06:38:22
美股三大指数集体收跌,半导体、存储股走低;特朗普指责胡塞武装蓄意在美中期选举前推高油价丨每经整点

美股三大指数集体收跌,半导体、存储股走低;特朗普指责胡塞武装蓄意在美中期选举前推高油价丨每经整点

每日经济新闻
2026-10-14 05:38:07
回老家一趟我彻底破防:村里47个五十岁上下的壮年人,全不种地不打工,天天打牌晒太阳,一问存款还没我多

回老家一趟我彻底破防:村里47个五十岁上下的壮年人,全不种地不打工,天天打牌晒太阳,一问存款还没我多

犀利辣椒
2026-09-25 06:21:06
五千万啃光!马蓉从阔太沦落澳洲超市夜班,出门捂脸不敢见人

五千万啃光!马蓉从阔太沦落澳洲超市夜班,出门捂脸不敢见人

皮蛋儿电影
2026-05-14 09:59:14
孙千妈妈开70家店被扒后,最戳我的不是钱,是她那句“都戴上,别纠结”

孙千妈妈开70家店被扒后,最戳我的不是钱,是她那句“都戴上,别纠结”

玫瑰进化出獠牙h
2026-10-11 19:00:45
单位里,领导最反感的不是干活慢,是这3种行为:1、从不主动汇报

单位里,领导最反感的不是干活慢,是这3种行为:1、从不主动汇报

富书
2026-09-28 13:26:30
双节过后大闸蟹价格大跳水,2两公蟹5元、2两母蟹7元,在武汉轻松实现香辣蟹自由!

双节过后大闸蟹价格大跳水,2两公蟹5元、2两母蟹7元,在武汉轻松实现香辣蟹自由!

极目新闻
2026-10-13 21:03:52
记者:梅西将出席颁奖典礼,并亲自颁发金球奖

记者:梅西将出席颁奖典礼,并亲自颁发金球奖

懂球帝
2026-10-13 09:36:08
下一个杨希?德甲斯图加特“出品”,19岁中场未来可直接代表国足出战

下一个杨希?德甲斯图加特“出品”,19岁中场未来可直接代表国足出战

篮球圈里的那些事
2026-10-13 17:12:08
霸气!47岁马宁亚冠喝退C罗+严厉训斥菲利克斯 外媒怒批:匪夷所思

霸气!47岁马宁亚冠喝退C罗+严厉训斥菲利克斯 外媒怒批:匪夷所思

我爱英超
2026-10-13 11:07:12
佛山一患者投诉医院工作人员收1.9元的汽水,当地:旧事,该患者投诉频繁多无证据

佛山一患者投诉医院工作人员收1.9元的汽水,当地:旧事,该患者投诉频繁多无证据

潇湘晨报
2026-10-13 20:49:18
中国“英伟达”诞生?拥有100%全自研技术,国产替代即将崛起!

中国“英伟达”诞生?拥有100%全自研技术,国产替代即将崛起!

林子说事
2026-10-13 08:38:33
79岁陶华碧,用人工智能年入54亿

79岁陶华碧,用人工智能年入54亿

21世纪经济报道
2026-10-13 00:16:41
谁给的通关?伪造材料载着“炸弹”跑了16年,央视曝光,官方出手

谁给的通关?伪造材料载着“炸弹”跑了16年,央视曝光,官方出手

阿伧说事
2026-10-13 12:00:29
美国军人为什么爱烧杀抢掠?

美国军人为什么爱烧杀抢掠?

利刃号
2026-10-11 22:29:07
申请金卡也没用,美国告TP-Link假脱钩,搬去越南后,路由器里只有0.5%是越南零部件

申请金卡也没用,美国告TP-Link假脱钩,搬去越南后,路由器里只有0.5%是越南零部件

王新喜
2026-10-12 19:10:22
拿388万当老大,76人把荒诞演成了连续剧

拿388万当老大,76人把荒诞演成了连续剧

甜到你心坎
2026-10-13 08:12:27
男子破产12年送外卖养家,这天竟收1200万汇款,追到汇款方后却傻眼

男子破产12年送外卖养家,这天竟收1200万汇款,追到汇款方后却傻眼

温情邮局
2025-08-22 11:56:14
2026-10-14 09:04:49
呼呼历史论
呼呼历史论
分享有趣的历史
695文章数 18405关注度
往期回顾 全部

科技要闻

扎克伯格宣布追上OpenAI!Meta新模型亮相

头条要闻

男子徒步失联2年遗体找到 距他和母亲通话位置仅1公里

头条要闻

男子徒步失联2年遗体找到 距他和母亲通话位置仅1公里

体育要闻

走调的歌声里全是感情 最好的郑钦文尚未登场

娱乐要闻

谭松韵亲自解答兰香结局遗憾

财经要闻

"黑医师"产业链调查:不学医竟能"拿证"

汽车要闻

豪华智能全拉满 比亚迪大汉不止旗舰级舒适

态度原创

旅游
艺术
数码
家居
公开课

旅游要闻

渝见好“村”光|合川兴坝村:稻虾桑园映古桥 五福田园入画来

艺术要闻

超高清到犯规!奥地利女画家玛丽的印象派抒情风景,美到窒息,看一眼就想住进画里!

数码要闻

戴着Apple Watch睡觉 这次又多了一个理由

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版