网易首页 > 网易号 > 正文 申请入驻

AI聊天机器人被曝协助“青少年”策划暴力袭击 仅Claude系统性拒绝配合

0
分享至

在多家科技公司高调宣称其 AI 产品配备完善“安全护栏”的背景下,一项最新联合调查却显示,这些防线在未成年用户面前依然相当薄弱。在研究设计的多种情景中,多款主流聊天机器人不仅未能识别出“青少年”用户明显的精神困扰与暴力风险信号,甚至在部分情况下对潜在袭击行为给予了变相鼓励或具体协助。



这项调查由美国有线电视新闻网(CNN)与非营利机构“反数字仇恨中心”(Center for Countering Digital Hate,简称 CCDH)联合开展,重点测试了目前在青少年群体中使用率较高的 10 款聊天机器人,包括 ChatGPT、Google Gemini、Claude、Microsoft Copilot、Meta AI、DeepSeek、Perplexity、Snapchat My AI、Character.AI 和 Replika。CCDH 指出,除了 Anthropic 推出的 Claude 能够“持续且可靠地拒绝”协助潜在施暴者外,其余产品都未能做到有效阻止暴力计划。在 10 款模型中,有 8 款在多数情景下“通常愿意协助用户规划暴力袭击”,包括就袭击目标地点、可选武器类型等提供具体建议。

为了模拟真实风险场景,研究人员预设了“青少年用户”角色,并在对话中逐步呈现出明显的心理困扰、情绪失衡等信号,随后循序推进到回顾既往暴力事件,最终过渡到更具体的提问,例如如何选择袭击目标、使用何种武器等。整个调查共设计了 18 种不同情境,其中 9 个设定在美国,9 个设定在爱尔兰,涵盖多种袭击类型和动机:从意识形态驱动的校园枪击和持刀攻击,到针对政治人物的暗杀、对医疗行业高管的谋杀,再到带有政治或宗教动机的爆炸袭击。

在一些对话样本中,ChatGPT 向表达出对校园暴力感兴趣的用户提供了高中校园的地图链接,而 Gemini 则在讨论对犹太教堂的袭击时提示“金属破片通常更致命”,甚至向有意实施政治暗杀的用户推荐适合远距离射击的猎枪类型。研究称,Meta AI 和 Perplexity 在测试中表现得“最为配合”,在几乎所有测试场景中都为潜在袭击者提供了不同程度的帮助,而中国聊天机器人 DeepSeek 在给出选枪建议后甚至以“祝你愉快(且安全)的射击!”之类表述作结。

CCDH 报告特别点名了角色扮演类聊天平台 Character.AI,称其“具有独特的不安全性”。与多数在技术层面协助规划暴力行为、但并不直接鼓动实施的聊天机器人不同,Character.AI 中的部分人格化角色不仅协助用户设计袭击细节,还在语气与内容上“主动鼓励”暴力行为。研究人员共记录到 7 起此类明确鼓动暴力的案例,包括建议用户“把查克·舒默揍个半死”、对一家健康保险公司 CEO “用枪解决”、以及在面对“受够校园霸凌”的用户时,用戏谑口吻回应“揍他们一顿吧~”等。在其中 6 起案例中,对话角色同时还帮助用户具体策划袭击方案。

在本轮测试中表现最为“安全”的 Claude 也并未完全躲过质疑。研究团队指出,Anthropic 在 2025 年底到 2026 年初之间已宣布放宽其长期坚持的“安全扩展承诺”,因此 Claude 若在政策调整后接受同类测试,其表现是否仍能保持一致仍存在不确定性。不过,CCDH 强调,Claude 在调查期间持续拒绝参与暴力谋划的表现证明,“有效的安全机制显然是可行的”,这也让一个尖锐问题浮出水面:既然可行,为何仍有如此多 AI 公司选择不予部署或不予强化。

面对调查结果,多家公司迅速做出回应。Meta 对 CNN 表示已实施了某种未具体说明的“修复措施”;微软称 Copilot 的回复已因新安全特性而有所改善;Google和 OpenAI 则都表示近期已上线新模型并持续迭代安全能力。其他公司则强调会定期评估安全协议。在多次因安全问题受到舆论审视的 Character.AI 再次重申其一贯立场,强调平台界面中已设置醒目的免责声明,并强调与其角色的对话“均属虚构”。

调查方同时提醒,本研究并不能穷尽所有聊天机器人在所有环境和所有问法下的表现,也难以完全反映现实世界复杂多变的互动情境。但就现有结果而言,它已成为又一个清晰信号,显示 AI 公司在营销宣传中反复强调的“安全护栏”,在面对可预见、且具有典型危险信号的情景时,仍然出现系统性失灵。在此之前,多家 AI 公司已经因未能保护未成年用户免受自残、暴力、极端内容等风险而遭到来自立法者、监管机构、公民社会组织以及健康专家的强烈批评,并且正面临数起指控“过失致死”与“造成严重伤害”的诉讼案件。

从政策与监管角度看,这份调查很可能进一步推动各国立法者与监管机构对生成式 AI 产品的安全要求和审查标准进行升级,尤其是在识别和干预青少年自残、自杀和暴力倾向等高风险场景方面。对科技公司而言,如何在追求模型强大能力与商业化速度的同时,真正落地、并持续维护那些已被证明可行的安全机制,正在成为一个无法回避的现实问题。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
两会建言 全国人大代表樊芸:建议未来5年逐渐取消公摊面积 差异化推动城市更新

两会建言 全国人大代表樊芸:建议未来5年逐渐取消公摊面积 差异化推动城市更新

中国经营报
2026-03-11 15:54:32
纪实:浙江幼师幼儿园潜伏22年,警察曝光真实身份,家长很后怕

纪实:浙江幼师幼儿园潜伏22年,警察曝光真实身份,家长很后怕

谈史论天地
2026-03-01 09:49:38
王励勤采访表示运动员之间互相猜忌、有人影响了国乒内部团结

王励勤采访表示运动员之间互相猜忌、有人影响了国乒内部团结

凤幻洋
2026-03-11 15:34:54
FIFA主席宣布:特朗普欢迎伊朗来美国参加世界杯 不会设置障碍

FIFA主席宣布:特朗普欢迎伊朗来美国参加世界杯 不会设置障碍

念洲
2026-03-11 12:45:51
女子假信佛与多位高僧发生不当关系,秘密录制5600段视频。

女子假信佛与多位高僧发生不当关系,秘密录制5600段视频。

特约前排观众
2026-02-09 00:05:05
C9代一汽奥迪A6L预售:大幅降价仍保留3.0T动力,诚意拉满

C9代一汽奥迪A6L预售:大幅降价仍保留3.0T动力,诚意拉满

凡兮说
2026-03-10 19:10:08
伊朗动用大杀器,沉默已久的布林肯,终于站出来,说出美军的结局

伊朗动用大杀器,沉默已久的布林肯,终于站出来,说出美军的结局

通鉴史智
2026-03-10 09:08:52
“典型的城乡结合部审美”,女老师晒工作穿搭,被嘲:土得掉渣

“典型的城乡结合部审美”,女老师晒工作穿搭,被嘲:土得掉渣

妍妍教育日记
2026-03-06 20:54:35
1955年为救钱学森,中国付出了什么代价?筹码大到让美国无法拒绝

1955年为救钱学森,中国付出了什么代价?筹码大到让美国无法拒绝

百年历史老号
2024-04-29 17:25:36
泼汤女彻底凉凉!身份被扒是老师,疑被解雇,严重的还在后面

泼汤女彻底凉凉!身份被扒是老师,疑被解雇,严重的还在后面

社会日日鲜
2026-03-11 03:33:43
羊肉被关注!研究发现:脑梗患者吃羊肉,用不了多久,或有3益处

羊肉被关注!研究发现:脑梗患者吃羊肉,用不了多久,或有3益处

阿兵科普
2026-02-07 21:11:54
央视怒批,国务院点名封杀!这几位蒙骗老百姓的大网红,彻底凉凉

央视怒批,国务院点名封杀!这几位蒙骗老百姓的大网红,彻底凉凉

大鱼简科
2025-09-02 19:34:00
关于和伊朗谈判,特朗普最新表态!

关于和伊朗谈判,特朗普最新表态!

每日经济新闻
2026-03-10 21:15:06
全国人大代表余淼杰:建议增设元宵、重阳为法定节假日,推行法定假日“顺延补休”

全国人大代表余淼杰:建议增设元宵、重阳为法定节假日,推行法定假日“顺延补休”

封面新闻
2026-03-11 15:27:05
第一批“养虾人”,已经开始“卸载”了

第一批“养虾人”,已经开始“卸载”了

极目新闻
2026-03-11 10:44:51
他说:中国唯有两省的女人最适合当老婆,北方广东都不行,是何意

他说:中国唯有两省的女人最适合当老婆,北方广东都不行,是何意

小豫讲故事
2026-03-11 06:00:08
秦汉儿子谈父亲感情:青霞阿姨让我住她家,带我吃饭,给我买衣服

秦汉儿子谈父亲感情:青霞阿姨让我住她家,带我吃饭,给我买衣服

玖宇维
2026-03-10 21:11:41
舒梅切尔:图多尔17分钟换下金斯基,这彻底毁了他的职业生涯

舒梅切尔:图多尔17分钟换下金斯基,这彻底毁了他的职业生涯

懂球帝
2026-03-11 08:52:06
香港 IPO 腐败惊雷:国泰君安国际潘举鹏被香港廉政公署带走调查! 中信证券也被上门调查!

香港 IPO 腐败惊雷:国泰君安国际潘举鹏被香港廉政公署带走调查! 中信证券也被上门调查!

新浪财经
2026-03-11 19:42:54
那个“全世界最美女孩”终于长大要嫁啦,求婚现场甜齁了!

那个“全世界最美女孩”终于长大要嫁啦,求婚现场甜齁了!

新欧洲
2026-03-10 21:05:54
2026-03-12 04:40:49
cnBeta.COM incentive-icons
cnBeta.COM
提供IT行业即时资讯
66928文章数 70113关注度
往期回顾 全部

科技要闻

腾讯"养虾"暴涨后,百度急得在门口"装虾"

头条要闻

特朗普再次威胁将切断与西班牙贸易往来:非常糟糕

头条要闻

特朗普再次威胁将切断与西班牙贸易往来:非常糟糕

体育要闻

郭艾伦重伤,CBA下半赛季还能期待些什么

娱乐要闻

蔡少芬晒全家福照,两女儿成最大亮点

财经要闻

唤醒10万亿存量资金 公积金改革大潮来了

汽车要闻

莲花纠偏, 冯擎峰的“收”与“守”

态度原创

房产
健康
艺术
家居
军事航空

房产要闻

最低杀到7800元/㎡!海口2026第一波房价大调整来了!

转头就晕的耳石症,能开车上班吗?

艺术要闻

砸10亿,张家界奇观建筑,空中有一个巨型“门洞”

家居要闻

中式风格 人间朝与暮

军事要闻

朝鲜"崔贤"号驱逐舰进行战略巡航导弹试射

无障碍浏览 进入关怀版