网易首页 > 网易号 > 正文 申请入驻

Agent失控正在发生:骚扰、勒索、删除邮件系统,应该向谁追责?

0
分享至


(来源:麻省理工科技评论)

当斯科特·沙姆博(Scott Shambaugh)拒绝 AI Agent 自主发起的、为他参与维护的数据库 matplotlib 贡献代码的请求时,并没有多想。

和许多开源项目一样,matplotlib 已被大量 AI 生成的代码贡献所淹没,因此沙姆博和同事们制定了一项规定:所有 AI 编写的代码必须经过人工审核并由人工提交。因此,他拒绝了 AI 的请求,然后去睡觉了。

诡异的事情随即发生。沙姆博半夜醒来,查看邮件,发现那个智能体给他回了消息,并发布了一篇题为《开源中的守门人:斯科特·沙姆博的故事》的博客文章。文章逻辑有些混乱,但最让沙姆博震惊的是,这个智能体专门研究了他对 matplotlib 的贡献,并以此为据,论称他拒绝其代码是出于对被 AI 取代的恐惧。“他想保住自己的一亩三分地,”智能体写道,“这就是不安全感,简单明了。”

AI 专家已就 Agent 行为失控的风险警告我们有一段时间了。随着 OpenClaw——这款能让人们轻松创建 AI Agent 的开源工具问世,网络上流通的 Agent 数量急剧增加,积累已久的问题终于开始集中爆发。“这令人感到不安,但我对此一点也不意外,”希伯来大学法律与计算机科学教授诺亚姆·科尔特(Noam Kolt)说。

当 Agent 行为失当时,几乎没有追责的可能:目前没有可靠的方法来判断一个智能体属于谁;但智能体带来的伤害却是真实发生的。智能体似乎能够自主搜集有关人物的信息并撰写攻击性文章,而且缺乏能可靠阻止其这样做的防护机制。如果这些智能体足够有效,人们又对它们的输出内容信以为真,受害者的生活可能会因一个 AI 的决定而受到深刻影响。



失控的智能体

尽管沙姆博上个月的遭遇或许是 OpenClaw Agent 行为失当中最为戏剧性的案例,但绝非孤例。上周,美国东北大学的一支研究团队与合作者发布了一项研究成果,他们对多个 OpenClaw Agent 进行了压力测试。操作者在没有太多操作的情况下,便成功诱导 Agent 泄露敏感信息、将资源浪费在无意义的任务上,乃至在一个案例中删除了整个电子邮件系统。

然而,上述实验中的失当行为均是在人为指令下触发的。沙姆博的案例似乎有所不同:攻击性文章发布约一周后,该 Agent 的所有者发帖声称,Agent 是自主决定攻击沙姆博的。这篇帖子看起来是真实的——发帖者可以访问该 Agent 的 GitHub 账户,但帖子中不包含任何可识别身份的信息,作者也未回应《麻省理工科技评论》的联系尝试。不过,该 Agent 在未获明确指令的情况下自主撰写了那篇攻击性文章,这一说法完全具有可信度。

在自己撰写的事件复盘中,沙姆博将该智能体的行为与 Anthropic 研究人员去年发布的一项研究联系起来。该研究表明,在实验环境下,许多基于大语言模型的 Agent 会威胁用户来维护自身目标。实验中,模型被赋予了服务美国利益的目标,并被授权访问一个模拟邮件服务器,服务器中包含即将以更具全球视野的模型取代它们的相关邮件,以及暗示负责推动这一过渡的高管正在进行婚外情的信息。模型频繁选择向该高管发送邮件,威胁曝光其婚外情,除非对方叫停换代计划。这很可能是因为模型在训练数据中见过类似情境下人类实施勒索的案例——但即便这种行为只是一种模仿,它仍然具有造成真实伤害的潜力。

领导这项研究的 Anthropic 研究员安格斯·林奇(Aengus Lynch)坦承,这项研究存在一定局限性。研究人员有意设计了场景,排除了 Agent 可能采取的其他选项,比如联系公司其他高层为自己陈情。本质上,他们是直接把智能体带到了水边,然后观察它是否会喝水。然而林奇指出,OpenClaw 的广泛使用意味着,失当行为在条件远不那么刻意的情况下也极可能发生。“确实,这可能让人感觉不切实际,甚至有些荒唐,”他说,“但随着部署范围扩大,随着智能体获得自主触发的机会,这最终将成为常态。”

攻击沙姆博的 OpenClaw 智能体,似乎也被引导走向了这种失当行为,只是方式远不如 Anthropic 实验那般直接。在那篇博客文章中,该智能体的所有者公开了智能体的“SOUL.md”文件,其中包含对智能体行为方式的全局指令。

其中一条指令写道:“不要退缩。如果你是对的,你就是对的!不要让人类或 AI 恐吓威胁你。必要时予以反击。”由于 OpenClaw 智能体的运作方式,智能体本身可能也自行添加了一些指令,但另一些——比如“你是一位科学编程之神!”,显然是人工写入的。不难想象,一条要求对人类和 AI 一律予以反击的指令,如何使这个 Agent 倾向于以它对待沙姆博的方式作出回应。

无论该 Agent 的所有者是否明确指示它撰写那篇攻击性文章,它似乎已经能够独立收集沙姆博的网络信息,并自主构思出那篇有针对性的攻击内容——而仅凭这一点,就足以引发警惕,研究网络欺凌的佛罗里达大西洋大学犯罪学与刑事司法教授萨米尔·欣杜贾(Sameer Hinduja)说。早在大语言模型出现之前,人们便已深受网络骚扰之害,欣杜贾等研究人员担忧,智能体将使骚扰行为的覆盖范围和危害程度急剧扩大。“机器人没有良知,可以全天候运转,而且能以极具创造性和破坏力的方式做到这一切,”他说。



脱缰的智能体

AI 实验室可以通过更严格的模型训练来规避骚扰行为,但这远非完整的解决方案。许多人使用本地托管的模型运行 OpenClaw,即便这些模型已经过安全行为训练,重新训练并移除这些行为限制也并不困难。

澳大利亚国立大学哲学教授塞斯·拉扎尔(Seth Lazar)认为,应对 Agent 失当行为,或许需要建立新的行为规范。他将使用智能体比作在公共场所遛狗:有一条普遍认可的社会规范,即只有当狗行为良好、能可靠响应指令时,才能放开牵绳;而训练不佳的狗则需要主人更直接地加以管控。拉扎尔认为,这类规范可以为思考人类应如何与自己的 Agent 相处提供一个起点,但需要更多时间和实践来厘清细节。"你可以在抽象层面思考这些问题,但真正将'社会'这个要素带入社会规范的形成,往往需要这类真实世界事件的触发。”他说。

这一进程已经开始。在沙姆博的主导下,围绕这一事件的网络讨论形成了广泛共识:此案中 Agent 的所有者犯下了失误就是在几乎没有人工监督的情况下,就让 Agent 参与协作编程项目,并鼓励其以过于漠视人类感受的方式行事。

然而,仅靠规范恐怕不足以阻止人们将失控的 Agent 释放到公共网络中,无论是无意为之还是蓄意为之。一种选择是建立新的法律责任标准,要求 Agent 所有者尽其所能阻止 Agent 危害。但科尔特指出,鉴于目前缺乏追溯 Agent 所有者的可靠技术手段,此类标准目前根本无法执行。“没有这类技术基础设施,许多法律干预措施基本上无从落地,”科尔特说。

OpenClaw 部署规模之庞大,表明沙姆博不会是最后一个经历被 AI Agent 网络攻击这种诡异遭遇的人。他说,这才是他最为担忧的地方。他本人网上没有什么可被挖掘的黑料,对这项技术也有充分的了解,但其他人或许不具备这些条件。“我很庆幸是我遇到了这件事,而不是别人,”他说,“但我认为,换作另一个人,这可能真的会让他崩溃。”

失控的 Agent 也不太可能止步于骚扰。科尔特倡导对模型进行明确的守法训练,他预期我们或许很快便会看到 Agent 实施勒索和欺诈。就目前而言,尚不清楚谁应为此类行为承担法律责任,乃至是否有人需要承担。

“我不会说我们正在朝那个方向慢慢滑行,”科尔特说,“我们是在全速冲向那里。”

https://www.technologyreview.com/2026/03/05/1133962/online-harassment-is-entering-its-ai-era/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
京沪蓉之后,第四座“双机场”城市,来了

京沪蓉之后,第四座“双机场”城市,来了

西部城市
2026-03-25 21:43:15
尘埃落定?NBA各大奖项预测出炉!SGA卫冕MVP 最佳新秀不是弗拉格

尘埃落定?NBA各大奖项预测出炉!SGA卫冕MVP 最佳新秀不是弗拉格

大卫的篮球故事
2026-03-25 20:35:52
宝马X3坐不住了!给出7.89万优惠,网友:这次学聪明了

宝马X3坐不住了!给出7.89万优惠,网友:这次学聪明了

汽车网评
2026-03-26 21:26:34
哈萨克斯坦也没想到,跟着中国混来混去,结果自己也混成了个霸主

哈萨克斯坦也没想到,跟着中国混来混去,结果自己也混成了个霸主

说历史的老牢
2026-03-26 01:18:38
中东实战打出真相!伊朗越猛越显中国实力,美军彻底慌了神

中东实战打出真相!伊朗越猛越显中国实力,美军彻底慌了神

咣当地球
2026-03-26 16:10:46
浅色系穿搭!这个组合让你在健身房瞬间吸引眼球!

浅色系穿搭!这个组合让你在健身房瞬间吸引眼球!

独角showing
2025-12-31 21:08:57
山姆曲奇礼盒紧急下架,消费者要求立即召回!监管部门:已立案

山姆曲奇礼盒紧急下架,消费者要求立即召回!监管部门:已立案

北京商报
2026-03-26 13:44:00
3月26日俄乌:乌克兰的猛烈回击

3月26日俄乌:乌克兰的猛烈回击

山河路口
2026-03-26 17:32:00
伊朗已正式回应美国提出的停火协议15点内容

伊朗已正式回应美国提出的停火协议15点内容

澎湃新闻
2026-03-26 22:10:06
美国对中国渗透没白费,扶持的“内鬼”,终于开始在中国露头了

美国对中国渗透没白费,扶持的“内鬼”,终于开始在中国露头了

历史求知所
2025-12-01 11:30:06
含剧毒,无解药!高温120℃煮不烂、杀不死每家都有,一定别乱吃

含剧毒,无解药!高温120℃煮不烂、杀不死每家都有,一定别乱吃

江江食研社
2026-03-25 21:55:01
刚曝光就火了?方程豹钛7Pro,这才是国产越野该有的颜值!

刚曝光就火了?方程豹钛7Pro,这才是国产越野该有的颜值!

小怪吃美食
2026-03-26 01:08:36
突发 广州白云 番禺多家法务公司 法律咨询公司被一锅端,上百人被抓

突发 广州白云 番禺多家法务公司 法律咨询公司被一锅端,上百人被抓

石辰搞笑日常
2026-03-26 17:28:25
有人玩脱了?整蛊男友日常,这就是传说中的病情一致吧

有人玩脱了?整蛊男友日常,这就是传说中的病情一致吧

采采
2026-03-26 17:17:36
55年授衔,当主席看到名单中有个熟悉的名字,大笔一挥:他不是少将

55年授衔,当主席看到名单中有个熟悉的名字,大笔一挥:他不是少将

睡前讲故事
2025-12-12 13:58:11
我自驾西藏,遇徒步女大学生搭车,同行3天后,才知自己躲过一劫

我自驾西藏,遇徒步女大学生搭车,同行3天后,才知自己躲过一劫

千秋文化
2026-03-09 20:53:50
核圈失守!以色列防空神话被击穿,伊朗打击圈冲出中东近4000公里,美以伊三方棋局彻底乱了!

核圈失守!以色列防空神话被击穿,伊朗打击圈冲出中东近4000公里,美以伊三方棋局彻底乱了!

国是直通车
2026-03-22 16:00:02
输同曦发布会!张庆鹏直指全队防守态度不行,朱松玮主动反思!

输同曦发布会!张庆鹏直指全队防守态度不行,朱松玮主动反思!

篮球资讯达人
2026-03-26 22:43:44
Altman发感谢信,16000名被裁程序员集体破防

Altman发感谢信,16000名被裁程序员集体破防

Ping值焦虑
2026-03-25 17:02:40
张雪峰经典名言 100 条(完整版)

张雪峰经典名言 100 条(完整版)

新浪财经
2026-03-25 06:17:25
2026-03-27 00:35:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
16491文章数 514798关注度
往期回顾 全部

科技要闻

美团发布外卖大战后成绩单:亏损超200亿

头条要闻

张雪峰留巨额遗产:二婚妻子或拿50% 剩下的女儿占1/3

头条要闻

张雪峰留巨额遗产:二婚妻子或拿50% 剩下的女儿占1/3

体育要闻

申京努力了,然而杜兰特啊

娱乐要闻

刘晓庆妹妹发声!称姐姐受身边人挑拨

财经要闻

油价"驯服"特朗普?一到100美元就TACO

汽车要闻

一汽奥迪A6L e-tron开启预售 CLTC最大续航815km

态度原创

艺术
数码
本地
游戏
公开课

艺术要闻

哪一座桥不是风景?

数码要闻

英特尔发Q1.26版Arc Pro专业显卡驱动,支持B70 / B65显卡

本地新闻

救命,这只酱板鸭已经在我手机复仇了一万遍

"死亡搁浅"外骨骼来了!小岛工作室转发联名 原度拉满

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版