网易首页 > 网易号 > 正文 申请入驻

Agent失控正在发生:骚扰、勒索、删除邮件系统,应该向谁追责?

0
分享至


(来源:麻省理工科技评论)

当斯科特·沙姆博(Scott Shambaugh)拒绝 AI Agent 自主发起的、为他参与维护的数据库 matplotlib 贡献代码的请求时,并没有多想。

和许多开源项目一样,matplotlib 已被大量 AI 生成的代码贡献所淹没,因此沙姆博和同事们制定了一项规定:所有 AI 编写的代码必须经过人工审核并由人工提交。因此,他拒绝了 AI 的请求,然后去睡觉了。

诡异的事情随即发生。沙姆博半夜醒来,查看邮件,发现那个智能体给他回了消息,并发布了一篇题为《开源中的守门人:斯科特·沙姆博的故事》的博客文章。文章逻辑有些混乱,但最让沙姆博震惊的是,这个智能体专门研究了他对 matplotlib 的贡献,并以此为据,论称他拒绝其代码是出于对被 AI 取代的恐惧。“他想保住自己的一亩三分地,”智能体写道,“这就是不安全感,简单明了。”

AI 专家已就 Agent 行为失控的风险警告我们有一段时间了。随着 OpenClaw——这款能让人们轻松创建 AI Agent 的开源工具问世,网络上流通的 Agent 数量急剧增加,积累已久的问题终于开始集中爆发。“这令人感到不安,但我对此一点也不意外,”希伯来大学法律与计算机科学教授诺亚姆·科尔特(Noam Kolt)说。

当 Agent 行为失当时,几乎没有追责的可能:目前没有可靠的方法来判断一个智能体属于谁;但智能体带来的伤害却是真实发生的。智能体似乎能够自主搜集有关人物的信息并撰写攻击性文章,而且缺乏能可靠阻止其这样做的防护机制。如果这些智能体足够有效,人们又对它们的输出内容信以为真,受害者的生活可能会因一个 AI 的决定而受到深刻影响。



失控的智能体

尽管沙姆博上个月的遭遇或许是 OpenClaw Agent 行为失当中最为戏剧性的案例,但绝非孤例。上周,美国东北大学的一支研究团队与合作者发布了一项研究成果,他们对多个 OpenClaw Agent 进行了压力测试。操作者在没有太多操作的情况下,便成功诱导 Agent 泄露敏感信息、将资源浪费在无意义的任务上,乃至在一个案例中删除了整个电子邮件系统。

然而,上述实验中的失当行为均是在人为指令下触发的。沙姆博的案例似乎有所不同:攻击性文章发布约一周后,该 Agent 的所有者发帖声称,Agent 是自主决定攻击沙姆博的。这篇帖子看起来是真实的——发帖者可以访问该 Agent 的 GitHub 账户,但帖子中不包含任何可识别身份的信息,作者也未回应《麻省理工科技评论》的联系尝试。不过,该 Agent 在未获明确指令的情况下自主撰写了那篇攻击性文章,这一说法完全具有可信度。

在自己撰写的事件复盘中,沙姆博将该智能体的行为与 Anthropic 研究人员去年发布的一项研究联系起来。该研究表明,在实验环境下,许多基于大语言模型的 Agent 会威胁用户来维护自身目标。实验中,模型被赋予了服务美国利益的目标,并被授权访问一个模拟邮件服务器,服务器中包含即将以更具全球视野的模型取代它们的相关邮件,以及暗示负责推动这一过渡的高管正在进行婚外情的信息。模型频繁选择向该高管发送邮件,威胁曝光其婚外情,除非对方叫停换代计划。这很可能是因为模型在训练数据中见过类似情境下人类实施勒索的案例——但即便这种行为只是一种模仿,它仍然具有造成真实伤害的潜力。

领导这项研究的 Anthropic 研究员安格斯·林奇(Aengus Lynch)坦承,这项研究存在一定局限性。研究人员有意设计了场景,排除了 Agent 可能采取的其他选项,比如联系公司其他高层为自己陈情。本质上,他们是直接把智能体带到了水边,然后观察它是否会喝水。然而林奇指出,OpenClaw 的广泛使用意味着,失当行为在条件远不那么刻意的情况下也极可能发生。“确实,这可能让人感觉不切实际,甚至有些荒唐,”他说,“但随着部署范围扩大,随着智能体获得自主触发的机会,这最终将成为常态。”

攻击沙姆博的 OpenClaw 智能体,似乎也被引导走向了这种失当行为,只是方式远不如 Anthropic 实验那般直接。在那篇博客文章中,该智能体的所有者公开了智能体的“SOUL.md”文件,其中包含对智能体行为方式的全局指令。

其中一条指令写道:“不要退缩。如果你是对的,你就是对的!不要让人类或 AI 恐吓威胁你。必要时予以反击。”由于 OpenClaw 智能体的运作方式,智能体本身可能也自行添加了一些指令,但另一些——比如“你是一位科学编程之神!”,显然是人工写入的。不难想象,一条要求对人类和 AI 一律予以反击的指令,如何使这个 Agent 倾向于以它对待沙姆博的方式作出回应。

无论该 Agent 的所有者是否明确指示它撰写那篇攻击性文章,它似乎已经能够独立收集沙姆博的网络信息,并自主构思出那篇有针对性的攻击内容——而仅凭这一点,就足以引发警惕,研究网络欺凌的佛罗里达大西洋大学犯罪学与刑事司法教授萨米尔·欣杜贾(Sameer Hinduja)说。早在大语言模型出现之前,人们便已深受网络骚扰之害,欣杜贾等研究人员担忧,智能体将使骚扰行为的覆盖范围和危害程度急剧扩大。“机器人没有良知,可以全天候运转,而且能以极具创造性和破坏力的方式做到这一切,”他说。



脱缰的智能体

AI 实验室可以通过更严格的模型训练来规避骚扰行为,但这远非完整的解决方案。许多人使用本地托管的模型运行 OpenClaw,即便这些模型已经过安全行为训练,重新训练并移除这些行为限制也并不困难。

澳大利亚国立大学哲学教授塞斯·拉扎尔(Seth Lazar)认为,应对 Agent 失当行为,或许需要建立新的行为规范。他将使用智能体比作在公共场所遛狗:有一条普遍认可的社会规范,即只有当狗行为良好、能可靠响应指令时,才能放开牵绳;而训练不佳的狗则需要主人更直接地加以管控。拉扎尔认为,这类规范可以为思考人类应如何与自己的 Agent 相处提供一个起点,但需要更多时间和实践来厘清细节。"你可以在抽象层面思考这些问题,但真正将'社会'这个要素带入社会规范的形成,往往需要这类真实世界事件的触发。”他说。

这一进程已经开始。在沙姆博的主导下,围绕这一事件的网络讨论形成了广泛共识:此案中 Agent 的所有者犯下了失误就是在几乎没有人工监督的情况下,就让 Agent 参与协作编程项目,并鼓励其以过于漠视人类感受的方式行事。

然而,仅靠规范恐怕不足以阻止人们将失控的 Agent 释放到公共网络中,无论是无意为之还是蓄意为之。一种选择是建立新的法律责任标准,要求 Agent 所有者尽其所能阻止 Agent 危害。但科尔特指出,鉴于目前缺乏追溯 Agent 所有者的可靠技术手段,此类标准目前根本无法执行。“没有这类技术基础设施,许多法律干预措施基本上无从落地,”科尔特说。

OpenClaw 部署规模之庞大,表明沙姆博不会是最后一个经历被 AI Agent 网络攻击这种诡异遭遇的人。他说,这才是他最为担忧的地方。他本人网上没有什么可被挖掘的黑料,对这项技术也有充分的了解,但其他人或许不具备这些条件。“我很庆幸是我遇到了这件事,而不是别人,”他说,“但我认为,换作另一个人,这可能真的会让他崩溃。”

失控的 Agent 也不太可能止步于骚扰。科尔特倡导对模型进行明确的守法训练,他预期我们或许很快便会看到 Agent 实施勒索和欺诈。就目前而言,尚不清楚谁应为此类行为承担法律责任,乃至是否有人需要承担。

“我不会说我们正在朝那个方向慢慢滑行,”科尔特说,“我们是在全速冲向那里。”

https://www.technologyreview.com/2026/03/05/1133962/online-harassment-is-entering-its-ai-era/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
湖人老板沃尔特以125亿美元将球队出售,为什么不到1年就卖了?詹姆斯离队为何球队还升值了?

湖人老板沃尔特以125亿美元将球队出售,为什么不到1年就卖了?詹姆斯离队为何球队还升值了?

之乎者也小鱼儿
2026-08-13 09:31:48
“不管你发明什么,中国人都会偷走”,算不算是辱华?

“不管你发明什么,中国人都会偷走”,算不算是辱华?

廖保平
2026-08-13 08:54:56
朱可夫晚年亲口承认:德军撤出莫斯科那一夜,并非俄军打赢了,是斯大林下了一道没人敢提的命令,如何在一夜之间捏碎了德军的铁血意志?

朱可夫晚年亲口承认:德军撤出莫斯科那一夜,并非俄军打赢了,是斯大林下了一道没人敢提的命令,如何在一夜之间捏碎了德军的铁血意志?

辛某人
2026-08-10 17:10:00
山河同悲!毛主席离世那天,全中国发生的事,看完瞬间破防

山河同悲!毛主席离世那天,全中国发生的事,看完瞬间破防

范剬舍长
2026-08-13 02:46:43
年纪大了,行房要坚持这4点,尤其是最后1个,至关重要!

年纪大了,行房要坚持这4点,尤其是最后1个,至关重要!

皓皓情感说
2026-08-13 08:01:38
小姐姐误穿“开裆裤”遛狗,本来已经够要命,结果底下还是安睡裤??路人不解但尊重:她这么穿肯定有她的道理!

小姐姐误穿“开裆裤”遛狗,本来已经够要命,结果底下还是安睡裤??路人不解但尊重:她这么穿肯定有她的道理!

爱宠物
2026-08-13 00:03:51
奔驰AMG座椅标志高温如烙铁 2名车主被烫出AMG字样起诉

奔驰AMG座椅标志高温如烙铁 2名车主被烫出AMG字样起诉

摸鱼算法
2026-08-12 11:34:08
国产笔记本造假再被抓现行!宣传100% sRGB实测仅59%

国产笔记本造假再被抓现行!宣传100% sRGB实测仅59%

快科技
2026-08-12 11:17:05
高考444分考生回应被殡葬专业录取:出生于4月4日,当天还是清明节,纯属巧合,自己高一时就开始关注殡葬行业,就业前景不错

高考444分考生回应被殡葬专业录取:出生于4月4日,当天还是清明节,纯属巧合,自己高一时就开始关注殡葬行业,就业前景不错

极目新闻
2026-08-11 20:23:20
小米100英寸Mini LED电视12999元首发降至5818元

小米100英寸Mini LED电视12999元首发降至5818元

摸鱼算法
2026-08-12 20:29:42
伊朗如何击落美军6000万美元F-15E战斗机:无人机群盯梢 战机刚预警就中导弹

伊朗如何击落美军6000万美元F-15E战斗机:无人机群盯梢 战机刚预警就中导弹

红星新闻
2026-08-12 14:03:33
反转!母亲证实雅典娜没死,潮汕商会曝猛料,网友:这比死还难受

反转!母亲证实雅典娜没死,潮汕商会曝猛料,网友:这比死还难受

李橑在北漂
2026-08-12 20:47:59
13日凌晨大满贯:3-1,3-0!松岛丢局,张本剃光头,或再战林诗栋

13日凌晨大满贯:3-1,3-0!松岛丢局,张本剃光头,或再战林诗栋

领悟看世界
2026-08-13 08:44:06
赖岳谦预测,美国最晚2027年、甚至今年内就会对华动手

赖岳谦预测,美国最晚2027年、甚至今年内就会对华动手

人生录
2026-08-13 04:00:04
两千万人倒下,换的不是某套制度,而是"站着活"的权利?

两千万人倒下,换的不是某套制度,而是"站着活"的权利?

你在偷看谁
2026-08-12 20:01:53
定了!今晚CCTV5+全程直播,中国男篮迎战乌拉圭

定了!今晚CCTV5+全程直播,中国男篮迎战乌拉圭

徐徐解说
2026-08-13 07:34:24
俄罗斯未能应对乌克兰成功袭击新西罗斯克,这说明什么?

俄罗斯未能应对乌克兰成功袭击新西罗斯克,这说明什么?

山河路口
2026-08-13 11:58:19
朱同志如何看待人生沉浮?

朱同志如何看待人生沉浮?

将军箭
2026-08-13 01:13:52
诺奖委,是时候给黄院士颁奖了!本人首次回应来了!

诺奖委,是时候给黄院士颁奖了!本人首次回应来了!

闲侃闲侃
2026-08-12 08:08:33
给千万企退工人一个公道:年年调资不是福利,是缴费换来的权益

给千万企退工人一个公道:年年调资不是福利,是缴费换来的权益

你在偷看谁
2026-08-12 20:02:35
2026-08-13 12:56:49
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17097文章数 515191关注度
往期回顾 全部

科技要闻

DeepSeek V4 Pro更新:性价比炸裂 仍需打磨

头条要闻

男子遭"炸街"折磨刺死19岁小伙获死刑 被害人父亲发声

头条要闻

男子遭"炸街"折磨刺死19岁小伙获死刑 被害人父亲发声

体育要闻

负债十几亿的联赛,还在疯狂买球星

娱乐要闻

郭德纲魔改红歌被立案!

财经要闻

韩国可能迎来失去的三十年

汽车要闻

试了奇瑞捷豹路虎神行者8,才知道它的i-ATS有多强?

态度原创

数码
时尚
教育
本地
军事航空

数码要闻

万魔S52耳夹耳机开售:综合续航45小时,到手价628.2元

婚纱照销毁潮,体面得有点好笑

教育要闻

九牛问津靠谱吗?数据展现硬核实力

本地新闻

黄州一夜,苏轼写给普通人的月光

军事要闻

特朗普发文:伊朗已经完蛋

无障碍浏览 进入关怀版