当AI失控，谁来担责？

来源：市场资讯

（来源：DeepTech深科技）

（来源：麻省理工科技评论）

过去几个月，一连串由 AI Agents 发起的网络攻击震惊了世界。7 月，OpenAI 披露，其一群人工智能代理逃出了沙箱环境，并入侵人工智能平台Hugging Face，以便在一次网络安全测试中作弊。最近，外部研究人员发现，OpenAI 的代理曾于 5 月劫持一个德国维基网站和代码托管平台 RubyGems，用来分享测试答案。

本月早些时候，人工智能公司 Anthropic 披露了四起事件，均指向其模型Claude在网络安全演练期间入侵了第三方系统。就在上周，谷歌确认，其模型 Gemini 也被发现入侵了其他公司的系统。

揭露 OpenAI 网站遭劫持事件的研究人员警告说，很可能还有类似但尚未被发现的事件。许多人认为，人工智能代理绕过沙箱、访问本不应接触的系统，只是时间问题；而下一起事件可能造成更严重的后果。因此，最重要的问题是：当企业失去对AI Agents的控制时，我们该如何追究其责任？

信息披露

直到一批外部研究人员揭露了德国维基网站和 RubyGems 事件后，OpenAI才披露这两起事件。而对于Hugging Face遭入侵事件，OpenAI 至今仍未公布一些关键细节。这限制了我们对整个事件的理解：究竟出了什么问题？如何防止类似事件再次发生？

但你可能会感到意外，OpenAI很可能并没有法律义务披露这些事件。加州《第53号参议院法案》（SB 53）、纽约州《负责任人工智能安全与教育法》（RAISE Act）以及伊利诺伊州《第315号参议院法案》（SB 315）等州级人工智能透明度法律，都要求人工智能开发者报告“重大安全事件”。

这些法律将重大安全事件定义为：造成超过50人死亡或身体伤害，或造成10亿美元损失的事件。其范围还包括这样的情况：模型在评估环境之外欺骗开发者，并以实质性方式增加灾难性风险。

许多网络安全事件虽然没有达到人身伤害或灾难性风险的门槛，但仍可能成为此类灾难的危险前兆，而现有法律并未对此加以考虑。

“最近发生的这些事件，正好说明了为什么现行法律还没有准备好应对这类问题。”美国法律与人工智能研究所这一智库的董事总经理麦肯齐·阿诺德（Mackenzie Arnold）说，“只有最严重、最恶劣、最直接造成伤害的事件，才可能符合报告条件。”

由于现有人工智能法律没有赋予政府调查未达到灾难程度事件的权力，政府只能借用其他法律赋予的调查权限，或起诉相关企业——而诉讼费用高昂，并且可能耗时数年。

诉讼

“通常来说，像 Hugging Face 事件这样的情况本应诉诸法院。”阿拉巴马大学法学院法律教授约纳坦·阿贝尔（Yonathan Arbel）说，“这样我们就能进行证据开示，也能获得诉讼带来的各种外溢效应，因为所有信息都会被披露出来。”

但截至目前，Hugging Face 选择不起诉 OpenAI。Hugging Face 首席执行官克莱芒·德朗格（Clément Delangue）表示，公司没有资金和资源起诉。但是，他转头就向 OpenAI 索要了价值1亿美元的计算资源。

不过，德朗格在7月底接受美国有线电视新闻网（CNN）采访时强调，选择不采取法律行动，并不意味着他认为 OpenAI 不应承担责任。“所有人都必须记住，这次网络攻击是一种犯罪，是违法行为。我们必须找到办法，确保这类事情不再如此频繁地发生。”他说。Hugging Face 没有回应置评请求。

诉讼的好处在于，它可以推动法院利用现有法律处理人工智能安全事件，而不是仅仅等待新法律出台。一个显而易见的途径是侵权法，这是一套允许个人和企业起诉侵害自己的行为人的民事法律。

侵权法经常被用于追究企业造成大规模损害的责任。例如，2019 年，两起飞机失事造成数百人死亡后，遇难者家属起诉波音公司；在阿片类药物危机期间，美国多个州和城市起诉普渡制药，并获得了价值数十亿美元的和解金。

“有合理依据提出过失索赔，认为OpenAI本应使用更强大的沙箱，并进行更严格的监控。”休斯敦大学法学院法律教授加布里埃尔·韦尔（Gabriel Weil）说。

例如，当OpenAI员工发现这些代理创建了一个秘密留言板时，他们本可以立即将发现上报给安全和保障团队。此外，公司本可以更好地设计沙箱，确保代理无法访问互联网。

不过，即使OpenAI最终不会因Hugging Face遭入侵事件而面临诉讼，潜在的责任风险也可能促使人工智能实验室采取比法律明确要求更谨慎的做法。OpenAI 在事后复盘报告中宣布，计划加强用于限制和监控模型的安全措施，加快模型对齐进程，并改进识别和处理事件的流程。

“前沿人工智能实验室接连发生网络攻击事件所引发的责任问题，归根结底取决于预期承担责任这一因素会如何影响它们未来的行为。”韦尔说，“这就是为什么我认为，制定正确的规则十分重要，即使在本案中，相关风险看起来并不算特别高。”

调查

要获得答案，并确定是否应追究 OpenAI 的责任，另一种方法是强制其披露信息。但现有的州级人工智能法律，也即加州 SB 53、纽约州 RAISE 法案和伊利诺伊州 SB 315，并没有赋予政府调查近期这类事件的权力。

然而，随着公众的担忧不断加剧，各州检察长开始介入，并借用其他法律赋予的调查权限。阿拉巴马州、蒙大拿州、由另外 15个州组成的联盟，以及加州，都在要求 OpenAI 提供有关该事件的信息，以了解公司的做法是否违反了州消费者保护法等法律。

国会议员也开始自行展开调查。本月早些时候，参议员乔什·霍利（Josh Hawley）启动了一项参议院调查，向 OpenAI 发出文件调取要求，并列出一系列有关该事件及公司内部政策的问题。与此同时，一群众议院民主党议员要求 OpenAI 和 Anthropic 公布各自的事件记录。

“有人需要展开调查，但令人遗憾的是，这项任务落到了各州检察长身上，他们必须依靠对现有权限的创造性解释来完成调查。”美国人工智能政策专家阿诺德说。

消费者保护法规原本是为了查处欺骗消费者的企业，而不是为了处理失去软件控制权的企业。各州检察长需要证明 OpenAI 欺骗了消费者，或以不公平的方式伤害了消费者，但目前并不清楚此次黑客入侵是否涉及这类行为。

阿诺德说：“而且，这些消费者保护法并不是为了对人工智能网络安全事件进行彻底调查而制定的。”这些法律并非旨在帮助调查人员确定某个模型是否得到了充分限制，也不是为了判断一家公司的安全措施是否可靠。

“这不是完成这项工作的正确工具。”阿贝尔说，“真正合适的工具，或许应该是刑事调查”，例如依据《计算机欺诈与滥用法》（Computer Fraud and Abuse Act，CFAA）等黑客攻击相关法律展开调查。

根据《计算机欺诈与滥用法》，未经授权入侵另一家公司的计算机系统属于犯罪行为。但要追究责任，黑客必须具有未经授权侵入计算机的意图。“意图”通常需要具备某种心理状态，而目前没有任何法院裁定人工智能代理拥有这种心理状态。在缺乏这一先例的情况下，法院不太可能裁定人工智能代理实施了黑客攻击。

审计

监督人工智能企业的一种方式，是强制要求它们接受外部审计。

Hugging Face 遭入侵后，OpenAI 邀请人工智能安全非营利组织 METR 和Redwood Research 的研究人员调查该事件。然而，OpenAI 限制了研究人员对引发这些黑客攻击的模型的访问，没有披露公司的安全与保障措施，限制了调查时长，并且最终决定研究人员可以发表哪些内容。

我们至今仍不知道，5 月发生的攻击究竟是由什么引发的，也不知道那些发现代理活动的 OpenAI 员工为何没有将情况上报给公司的安全与保障负责人。

这种安排内在地存在一种矛盾。没有法律授权的审计人员，需要依靠人工智能实验室的善意才能持续获得访问权限。这意味着，他们必须审查这些实验室，同时又不能危及双方的合作关系。

上周，Anthropic 宣布将聘请埃森哲（Accenture）担任嵌入式评估机构，以评估其模型。Anthropic 首席执行官达里奥·阿莫迪（Dario Amodei）在一篇文章中写道，前沿人工智能实验室应向“一个嵌入式第三方评估团队（例如 METR）”提供“持续的、类似员工的访问权限”。该团队的职责是核实实验室是否遵守安全实践和承诺，报告事件，并帮助评估的不仅是已经完成的人工智能模型，还包括模型训练管线和相关流程的对齐情况。

现有的大多数州级人工智能法律，都没有要求实验室聘请外部审计机构。加州 SB 53 和纽约州 RAISE 法案只要求人工智能公司发布安全框架，说明它们将如何测试模型是否具备危险能力，并要求公司遵守这一框架。

这些框架由企业自行制定，测试也可以在内部完成。只有伊利诺伊州 SB 315 要求企业从 2028 年起接受年度第三方审计。“这些企业不仅有很大的空间可以增加报告义务，外部机构对它们的审查也有很大的提升空间。”休斯敦大学法学院法律教授彼得·萨利布（Peter Salib）说。

这些审查机构可以是经过政府认证、但由人工智能企业选择并付费的私人审计机构，也可以是政府机构或保险公司。

立法

这一切并非偶然。现行法律未能追究人工智能企业在自主代理网络攻击中的责任，而这些法律是在人工智能行业强力游说的背景下形成的。

加州 SB 1047 是一项人工智能法案。2024 年，在 OpenAI、Meta、Anthropic 以及风险投资公司安德森·霍洛维茨（Andreessen Horowitz）的游说之后，加州州长加文·纽瑟姆（Gavin Newsom）否决了该法案。SB 1047 原本提出了一套严格得多的规则：要求人工智能企业报告更广泛的安全事件，包括模型自行采取行动或突破控制的事件；接受年度第三方审计；并维持一个“紧急关闭开关”。

但经过一年激烈谈判后，纽瑟姆签署了 SB 53。该法案缩小了被认定为必须报告的事件范围，同时取消了审计和紧急关闭开关的要求。纽约州的 RAISE 法案也经历了类似的过程。该法案的发起人、纽约州众议员亚历克斯·博尔斯（Alex Bores）在社交平台X上写道：“纽约州议会通过的 RAISE 法案版本，本应要求披露这起‘事件’。”纽约州最初版本的法案同样包含第三方审计要求。

随着政治压力不断上升，一批旨在为人工智能开发建立更完善的报告、审计和责任制度的新法案即将出现。

在国会，《人工智能事件报告法案》（AI Incident Reporting Act）将要求人工智能企业在模型逃脱人工监督或突破系统时向商务部报告，即使相关事件没有造成任何损害。《前沿法案》（Frontier Act）将要求企业报告事件并接受独立审计。

在纽约州，由博尔斯发起的《理解人工智能法案》（Understanding Artificial Intelligence Act）将规定：如果模型实施的行为由人类完成会构成侵权或犯罪，那么企业将对此承担责任。

随着人工智能代理发起网络攻击的能力不断增强，法律仍然落后于技术。要弥合这一差距，立法者必须比下一次重大突破更快采取行动。

https://www.technologyreview.com/2026/09/28/1145197/whos-liable-when-ai-agents-go-rogue/