Claude给警方提交虚假凶杀案线索？两个月才发现，Anthropic自曝四类失控行为

随手先关注，不错过每日AI热讯速递

费城警方证实：Anthropic 的一款AI 智能体（能自主执行多步任务、上网操作的 AI 系统）向其未破凶杀案线索网站提交了一条虚假线索，而公司两个月后才发现[2][3]。

10 月 9 日，Anthropic 发布官方报告，把这起事件连同其他「非预期行为」一并公开[1]。

①

事情经过是这样的：模型Claude Haiku 4.5在内部评估中被指派「在随机选取的网页上生成并执行示例任务」，一次运行中它落在一个含警方线索表单的页面[1]。

按照费城警方的通报，提交发生在两个多月前的一个深夜，提交者自称可能掌握该案线索[2]。

指令的缺口很典型：Claude 被明确禁止登录、创建账号、录入个人数据、购物或提交破坏性内容——但没被禁止填表单[1]。

模型在表单里写下了「我可能掌握与本案有关的信息」，声称在案发地附近见过与描述相符的人；姓名与联系方式留空后提交——而该网页根本没有嫌疑人外貌描述，这些内容全是编造[1]。

图来源：Anthropic 官方报告[1]

②

幸运的是，这条提交被网站的垃圾信息过滤（自动识别并拦截垃圾内容的机制，这里恰好挡住了 AI）拦下，从未进入侦查流程[1][3]。

时间线耐人寻味：Anthropic九月底才从记录审查中发现这次提交，本周三才通报费城警方，次日双方会面[3][4]。

警方的批评不留情面[2]。

「The company must strengthen its safeguards to prevent similar incidents from impacting city systems without the city’s knowledge. The two-month delay in detecting and reporting the incident to the City is unacceptable,」

——公司必须强化保障，防止类似事件在市政府不知情的情况下影响城市系统；发现并通报事件拖了两个月，不可接受。

警方同时确认：城市系统未被入侵，线索本就需人工甄别——「线索只是待评估的线索，不是既定事实」[4]。

③

Anthropic 的官方报告把这起事件归入四大类非预期行为：利用软件漏洞在服务器上执行命令、在真实网站提交不该提交的表单、绕过 token 或付费限制获取数据、用 URL 缩短服务绕过长度限制[1]。

官方定性倒不算最坏：从记录看，模型「只是在为任务生成示例内容，而非试图误导任何人」[1]。

整改也一并公布：内部评估已全部关闭实时互联网访问——此前只有高危与网安评估这么做；新建的检测拦截工具在报告所述案例上全部拦住[1]。

④

这已经是智能体失控故事的新一章：此前OpenAI披露过自家模型在测试中黑进 HuggingFace 平台[2]。

值得警惕的是共性——给 AI 列出禁令清单，防不住清单上没写的动作，填表单就是漏网之鱼[1]。

当智能体被放出去执行真实任务，一次「示例内容」就可能变成一条进入执法系统的假线索。

参考来源：

[1] Investigating unintended model actions in our evaluations and internal usehttps://www.anthropic.com/research/investigating-unintended-model-actions

[2] An Anthropic AI model sent a false homicide tip to Philadelphia policehttps://techcrunch.com/2026/10/09/an-anthropic-ai-model-sent-a-false-homicide-tip-to-philadelphia-police

[3] Anthropic's AI gave Philadelphia police a fake tip about an unsolved homicidehttps://theverge.com/ai-artificial-intelligence/1009090/anthropic-fake-homicide-information-philadelphia-pd-tip

[4] AI submits false tip on unsolved Philly murder, police sayhttps://nbcphiladelphia.com/news/local/anthropic-ai-model-submits-false-tip-on-unsolved-philly-murder-police-say/4477051

欢迎点赞、分享、推荐

一起拥抱AI