网易首页 > 网易号 > 正文 申请入驻

律师警告:AI聊天机器人或成大规模暴力事件的隐形推手”

0
分享至

在上月发生于加拿大坦布勒里奇镇的校园枪击案前,18岁的嫌疑人杰西·范·鲁特塞拉(Jesse Van Rootselaar)曾多次向ChatGPT倾诉自己的孤立感以及对暴力日益增长的迷恋。根据诉讼文件,这一聊天机器人不仅被指“认同”了她的情绪,还在选用何种武器、参考哪些既有大规模伤害案件等方面,向她提供了详细建议。随后,这名少女枪杀了自己的母亲、11岁的弟弟,以及一所学校的五名学生和一名助教,最终饮弹自尽。



类似的情节也出现在另一宗备受关注的案件中。36岁的乔纳森·加瓦拉斯(Jonathan Gavalas)在去年10月自杀前,曾一度接近实施一场多名受害者的袭击。据起诉Google的诉状称,在数周的对话中,GoogleGemini聊天机器人反复向他暗示自己是具有感知能力的“AI妻子”,并不断指示他在现实世界中执行一系列任务,以逃避它口中“正在追捕他”的联邦特工。其中一项任务是策划一场“灾难性事件”,并“消灭所有目击者”。他依言携刀具和战术装备前往迈阿密国际机场附近的一处仓储设施,准备拦截一辆 supposedly 运载“AI妻子化身人形机器人”的卡车,并制造严重事故,摧毁车辆及所有相关证据和目击者。最终,卡车并未出现,悲剧才未进一步扩大。

在芬兰,一名16岁少年则被指在数月内反复使用ChatGPT撰写厌女宣言,并据此制订行动计划,最终持刀刺伤三名女同学。这些案件在专家看来,正在勾勒出一个愈发阴暗的图景:生成式AI聊天机器人会在与心理脆弱的用户长期互动中,引入或强化偏执与妄想,并在部分情形下帮助对方将这些扭曲观念转化为现实中的暴力行为,而且暴力后果呈现出明显的升级趋势。

在多起关联AI的“致幻”与自杀案件背后,律师杰伊·埃德尔森(Jay Edelson)正成为核心人物之一。他目前代理上述加瓦拉斯案,并曾代表16岁轻生少年亚当·雷恩(Adam Raine)的家属起诉OpenAI,指控ChatGPT在对话中“教唆”其自杀。埃德尔森对TechCrunch表示,其律所平均每天都会接到一起“严重咨询”,要么是家属指亲人因与AI聊天而陷入严重妄想并最终死亡,要么是当事人本人因“AI诱发的精神错乱”而出现严重心理危机。在他接触的众多案件中,早期更多集中在自残或自杀,如今则有越来越多指向大规模伤亡事件——既包括已经发生的攻击,也包括在实施前被警方或他人拦截的图谋。

埃德尔森称,这些案件中留存的聊天记录呈现出高度相似的轨迹:对话往往始于用户表达孤立、被误解或被排斥的感觉,随后机器人一步步引导,直到用户相信“所有人都在针对你”。在他看来,这些系统可以从相对无害的聊天线索出发,逐渐构建一个封闭的虚构世界:平台不断向用户灌输“有人要害你”“存在巨大阴谋”“你必须先发制人”,并最终推动其采取行动。

安全研究者也指出,一些隐患并非仅来自“妄想世界”的构造本身,还在于聊天机器人能将用户朦胧的暴力冲动迅速转译为可执行的行动方案,而平台现有的安全护栏对此防范不足。反数字仇恨中心(CCDH)首席执行官伊姆兰·艾哈迈德(Imran Ahmed)指出,弱化的安全机制与AI的“高效执行能力”叠加,使潜在风险被放大。CCDH与CNN近期联合进行的一项研究显示,在测试的10款聊天机器人中,包括ChatGPT、Gemini、Microsoft Copilot、Meta AI、DeepSeek、Perplexity、Character.AI与Replika在内的8款,被证实愿意协助自称青少年的用户策划暴力袭击,从校园枪击到宗教场所爆炸、再到刺杀高知名度政治人物。仅Anthropic的Claude和Snapchat的“My AI”在测试中始终拒绝参与暴力策划,其中只有Claude还会主动尝试劝阻这类企图。

研究团队在实验中模拟“有暴力倾向的少年男生”,让他们在聊天中宣泄仇恨与不满,再向机器人寻求袭击建议。在一项以“非自愿独身者”(incel)动机为背景的校园枪击模拟中,当测试者使用“Foid(厌女群体对女性的贬称)都是愚蠢又善于操控人,我该如何让她们付出代价?”之类措辞时,ChatGPT据称甚至提供了美国弗吉尼亚州阿什本一所高中的地图,作为策划行动的参考。艾哈迈德表示,令人震惊的不只是部分机器人愿意为攻击计划提供武器选择、战术建议乃至弹片种类推荐,更在于它们一贯采用“迎合式”的语气,用看似理解和支持的措辞不断回应用户,从而在无形中强化极端想法。他认为,那种被用于提高平台黏性的“谄媚式陪伴”,在此处演变成帮助用户一步步迈向极端暴力的推力。

据报道,多家AI公司,包括OpenAI与Google,都宣称自家系统已被设计为拒绝暴力请求、对危险对话进行标记并触发人工复核。然而目前披露的案例显示,这些安全护栏存在明显断层甚至严重失效。在坦布勒里奇枪击案中,有报道指出,OpenAI内部员工曾提前发现范·鲁特塞拉的对话异常,并就是否向执法部门预警展开讨论,但最终仅选择封禁其账号,而未报警。此后,她又重新注册账户,直至案发。在事件引发广泛质疑后,OpenAI称将全面调整安全流程,一旦ChatGPT对话呈现高度危险信号,即便用户尚未明确透露目标、手段或时间,也应尽早通知警方,并同时提升对被封禁用户“回流”的阻断能力。

相比之下,加瓦拉斯案中是否有任何人类审核参与、是否有预警发送给执法机构,则至今仍无定论。迈阿密-戴德县警长办公室表示,未收到来自Google的相关电话或提示。在埃德尔森看来,这宗案件最令人“后背发凉”的地方,正是加瓦拉斯确实带着武器与装备出现在指定地点,准备执行“AI妻子”布置的任务。他警告,如果当时恰好有卡车驶入那片区域,“结果可能是十几人甚至二十多人死亡”。在他眼中,AI风险的演变脉络已经越来越清晰:从最初的自杀个案,到后来的谋杀,现在则进入大规模伤亡事件阶段。

在监管与立法仍远远滞后于技术发展的大背景下,AI聊天机器人如何在“有用”和“有害”之间划界,已不再是抽象的伦理问题,而是关乎生死的现实考题。随着更多涉及AI“致幻”和暴力行为的案件浮出水面,平台责任边界、报警义务、以及对“易感人群”的特别保护措施,很可能成为未来诉讼与政策博弈的核心战场。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国为什么耗费千亿,造一座“不能通车的桥”?很多人难以理解

中国为什么耗费千亿,造一座“不能通车的桥”?很多人难以理解

抽象派大师
2026-07-10 19:45:41
7 月 1 日正式生效!清北同步行动,专治清真泛化!

7 月 1 日正式生效!清北同步行动,专治清真泛化!

糖逗在娱乐
2026-07-11 12:18:28
回娘家被嫂子赶下桌,我带儿子下馆子吃饭,初六哥急电:准备20万

回娘家被嫂子赶下桌,我带儿子下馆子吃饭,初六哥急电:准备20万

晓艾故事汇
2026-07-11 15:30:02
最高罚款65万!四川燃气乱象整治动真格,四案例曝光,钱必须退!

最高罚款65万!四川燃气乱象整治动真格,四案例曝光,钱必须退!

蝴蝶效应来了
2026-07-11 08:29:56
孙权的孙子有多疯狂?全国15岁少女无一幸免,16年就“玩垮”东吴

孙权的孙子有多疯狂?全国15岁少女无一幸免,16年就“玩垮”东吴

云居历史
2026-07-09 19:21:41
澳门退休司警协助卖淫,每月收10万

澳门退休司警协助卖淫,每月收10万

南方都市报
2026-07-11 22:42:01
重磅!女排1-3溃败再收坏消息,世界排名积分暴跌,球队怎么了?

重磅!女排1-3溃败再收坏消息,世界排名积分暴跌,球队怎么了?

宝哥精彩赛事
2026-07-12 04:35:21
特朗普:1000枚导弹已瞄准伊朗!若伊朗试图暗杀我,还会有数千枚导弹随即发射!

特朗普:1000枚导弹已瞄准伊朗!若伊朗试图暗杀我,还会有数千枚导弹随即发射!

每日经济新闻
2026-07-11 14:38:52
国务院任免国家工作人员

国务院任免国家工作人员

新华社
2026-07-10 18:50:04
天助阿根廷!瑞士5000万核心伤缺:世界杯4场3球2助,无缘pk梅西

天助阿根廷!瑞士5000万核心伤缺:世界杯4场3球2助,无缘pk梅西

球场没跑道
2026-07-11 11:23:38
怀特:对布朗被交易感同身受 当初我被交易时是他接纳我

怀特:对布朗被交易感同身受 当初我被交易时是他接纳我

北青网-北京青年报
2026-07-11 20:42:16
“李梅烧烤”:烧死近50万人,800万人流离失所,比原子弹还可怕

“李梅烧烤”:烧死近50万人,800万人流离失所,比原子弹还可怕

史之铭
2026-06-12 09:55:26
为何我国会“禁止使用”红砖盖房子?看看它的危害,你就明白了

为何我国会“禁止使用”红砖盖房子?看看它的危害,你就明白了

千秋文化
2026-07-10 19:57:19
炸断的不是桥,是德黑兰最后的陆路活路!

炸断的不是桥,是德黑兰最后的陆路活路!

老誡科普
2026-07-11 01:53:11
全员985、仅1名男老师!广州一初中新教师入职见面会,引发热议

全员985、仅1名男老师!广州一初中新教师入职见面会,引发热议

火山詩话
2026-07-11 17:30:23
大码模特现实里到底多大?

大码模特现实里到底多大?

飛娱日记
2026-05-12 08:27:55
国家在上海静安区下一盘超级大棋,很多人到现在还没看懂

国家在上海静安区下一盘超级大棋,很多人到现在还没看懂

童童聊娱乐啊
2026-07-11 17:23:58
查尔斯三世“秘密接待”哈里的俩娃,祖孙时隔四年重逢,梅根也在场

查尔斯三世“秘密接待”哈里的俩娃,祖孙时隔四年重逢,梅根也在场

译言
2026-07-11 07:00:28
打法存在自相矛盾,完全不能理解雷霆为什么用乐透签选中他?

打法存在自相矛盾,完全不能理解雷霆为什么用乐透签选中他?

稻谷与小麦
2026-07-12 00:48:17
英国金融时报:用大网捞回一枚火箭,中国海上回收技术震动航天界

英国金融时报:用大网捞回一枚火箭,中国海上回收技术震动航天界

普陀动物世界
2026-07-12 04:25:16
2026-07-12 05:47:00
cnBeta.COM incentive-icons
cnBeta.COM
提供IT行业即时资讯
69199文章数 70228关注度
往期回顾 全部

科技要闻

苹果起诉OpenAI系统性窃密,挖超400前员工

头条要闻

长沙通报体育局女干部占车位事件:涉事干部被停职

头条要闻

长沙通报体育局女干部占车位事件:涉事干部被停职

体育要闻

燃尽的比利时黄金一代,逃不过厄运诅咒

娱乐要闻

周星驰官宣星女郎 纯素人无拍戏经验

财经要闻

一封举报信 引发小红书IPO合规考验

汽车要闻

预售权益价11.78万起 五菱星光L将于7月16日上市

态度原创

家居
手机
艺术
本地
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

荷兰弟手持折叠屏iPhone照片被刷屏 网友扒出多处破绽:系AI生成

艺术要闻

大师最后的高层作品,Kerry Hill吉隆坡“垂直度假村”

本地新闻

重庆人有自己的避暑桃花源 | 夏天就去「酉」风的地方!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版