网易首页 > 网易号 > 正文 申请入驻

OpenAI删号了事,半年后校园枪击案发生

0
分享至

一家AI公司的安全系统提前半年标记了潜在枪手,最终选择只是注销账号。这是技术伦理的困境,还是商业利益的算计?

反常识的"预警失灵"


我们通常期待AI安全系统"不够灵敏"——漏掉危险信号。但Tumbler Ridge案的吊诡之处在于:系统明明响了,却被手动静音。

法庭文件显示,OpenAI的自动化监控在2025年6月就标记了Jesse Van Rootselaar的ChatGPT对话,理由是"枪支暴力活动及策划"。此时距离她闯入高中还有七个多月。安全团队的建议是联系执法部门,管理层的决策是删号。

她注册了第二个账号,继续聊。

这种处理方式暴露了平台治理的一个灰色地带:检测到风险后,"封号"算不算尽责?对于普通违规内容,这或许是标准操作。但对于已识别的暴力预谋,注销账号本质上只是清除了追踪线索,而非消除威胁。

更讽刺的是时间线。OpenAI CEO Sam Altman在2月10日枪击案后向Tumbler Ridge居民公开道歉,承认"本可以做得更好"。不到一周,六起诉讼砸向旧金山联邦法院。道歉与诉讼的密集交替,构成了一场危机公关与法律责任的双线溃败。

诉讼的核心指控:知情不报

原告方包括五名遇难学生和一名遇难教师的家属,以及幸存者Maya Gebala。六起诉讼的核心理由高度一致:OpenAI在掌握明确危险信号的情况下,未履行向当局报告的义务。

具体指控细节来自NPR获取的法庭文件。Maya Gebala的诉状指出,OpenAI安全团队内部曾就是否上报进行讨论,最终管理层否决了这一建议。这种"内部建议-高层否决"的决策链条,成为原告论证"过失"的关键证据。

OpenAI的回应遵循标准危机话术:重申"对利用工具实施暴力零容忍",列举已采取的加固措施——改进对痛苦信号的识别、连接本地心理援助资源、强化威胁评估流程、提升重复违规者检测能力。

但这些措施都是事后补救。诉讼追问的是事前选择:为什么2025年6月的系统警报没有触发强制上报机制?

公司博客文章试图解释技术难点:"单一信息可能看似无害,但长对话或跨对话的更广模式才能提示更令人担忧的内容。"这暗示Van Rootselaar的对话可能具有渐进性特征——早期片段不构成明确威胁,累积模式才触发警报。

问题在于,警报既已触发,后续处理为何如此轻率?

行业先例:AI公司的"死亡知情"责任边界

Tumbler Ridge案并非孤立。2024年夏季,Adam Raine的父母提起首例针对AI公司的非正常死亡诉讼,指控ChatGPT知晓其四次自杀尝试却未干预。

两起案件的共同点是:AI系统被指控"知情"——不仅掌握用户状态,且有能力识别危险模式。这种"知情"状态将平台责任从传统的"内容审核"推向更复杂的"风险预警"领域。

传统互联网平台的责任边界相对清晰:删除违规内容、配合执法调查。但生成式AI的独特性在于,它通过长对话建立用户画像,可能提前数周甚至数月识别自伤或伤人风险。这种预见能力带来了前所未有的伦理义务争议。

OpenAI的辩护逻辑可能是:技术能力不等于法律义务。检测到风险信号后,平台是否有强制上报的法定义务?现行法律对此模糊。美国《通信规范法》第230条保护平台对用户生成内容的责任豁免,但"主动识别风险后不作为"是否适用豁免,尚无判例。

原告的策略则是将OpenAI定位为"类似心理医生的知情者"——一旦建立特殊信任关系,隐瞒危险信息可能构成过失。这种类比牵强但具有诉讼张力,因为它触及公众对AI的拟人化期待与法律对工具属性的认定之间的冲突。

五个关键争议点

第一,"删号"是否构成处置完成?

平台经济的惯性思维是:违规用户?封号,问题解决。但暴力预谋不是内容违规,而是现实威胁。注销账号切断了公司与用户的联系,却没有切断用户与潜在受害者的联系。这种处置方式的适用边界,是诉讼要逼出的行业规则。

第二,安全团队的建议权与管理层的决策权如何制衡?

诉状披露的"安全团队建议上报、管理层选择删号"细节,如果属实,将揭示AI公司治理的结构性缺陷:安全职能的汇报线是否足够独立?在增长压力与安全成本之间,谁来守护底线?

第三,跨国案件的管辖权与执行难题

案发地在加拿大不列颠哥伦比亚省,诉讼却在旧金山提起。原告选择美国法院,可能是看中更成熟的集体诉讼机制和更高的潜在赔偿。但判决若不利于OpenAI,跨境执行仍复杂。这种"产地诉讼"策略本身,就是全球化平台治理困境的缩影。

第四,"改进检测重复违规者"的技术承诺是否可信?

OpenAI事后措施中,"检测重复违规者"直接回应Van Rootselaar注册第二账号继续使用的漏洞。但技术层面,绕过身份验证的手段众多——新邮箱、新设备、VPN。平台能否真正识别"同一人",取决于愿意投入多少摩擦成本,而这与用户体验直接冲突。

第五,道歉的法律代价

Altman的公开道歉被原告律师视为"承认过错"的证据。危机公关的真诚表达,在诉讼语境下成为责任认定的把柄。这解释了为什么科技公司越来越依赖法务审核后的标准化声明——情感表达与法律风险的权衡,本身就是一门生意。

产品设计的隐性选择

跳出法律攻防,更值得追问的是产品逻辑。ChatGPT的安全架构显然设计了"风险-响应"的梯度机制:低风险对话自由进行,中等风险触发内容限制,高风险启动人工审核,极端风险建议上报。

Van Rootselaar案卡在高风险与极端风险的模糊地带。系统标记了"枪支暴力活动及策划",但管理层判断未达上报阈值。这个阈值由谁设定?依据什么标准?是否因地区而异?

OpenAI的博客文章透露了一个技术细节:他们正在训练模型识别"不同情境下的微妙风险信号"。这暗示当前的误判可能源于语境理解不足——比如,用户讨论暴力可能是创作需要、历史研究或真实预谋,区分这三者需要更精细的语义分析。

但技术改进的叙事无法回避一个事实:2025年6月的系统已经做出了"高风险"判断,问题出在人工决策层。这是组织流程的失败,而非算法能力的局限。

行业影响:预警义务的立法压力

无论诉讼结果如何,此案都将加速AI安全义务的法规化。欧盟《人工智能法》已将高风险AI系统纳入严格监管,美国各州的立法竞赛也在进行。Tumbler Ridge案提供了一个极端但清晰的场景:当AI检测到致命风险时,平台的作为义务边界在哪里?

可能的立法方向包括:强制上报阈值的标准化(哪些风险信号必须触发执法联系)、安全团队的独立性要求(报告线是否应绕过商业管理层)、以及跨平台信息共享机制(防止注销-重注册循环)。

这些规则若落地,将重塑AI产品的成本结构。实时人工审核、强制上报的法律合规、误判的赔偿责任——每一项都意味着边际成本的显著上升。免费或低价的大模型服务能否维持,取决于这些安全成本如何在产业链中分摊。

对于25-40岁的科技从业者,这起案件的价值在于:它把"AI安全"从抽象的技术议题转化为具体的产品决策困境。当你设计一个用户系统时,风险响应的梯度如何设置?安全团队的权限如何配置?这些选择将在法庭上被逐条审视。

OpenAI的困境具有普遍性。任何拥有用户对话数据的平台,都可能面临类似的"知情责任"追问。区别在于,生成式AI的对话深度和持续性,使其"知情"程度远超传统社交媒体。这是技术能力的礼物,也是法律风险的诅咒。

Altman的道歉和公司的技术改进承诺,在诉讼面前显得苍白。原告要的不是更好的算法,而是对那个2025年6月决策的交代:为什么知道危险存在,却选择只是删除记录?

这个问题没有技术答案,只有商业和伦理的权衡。而法庭要做的,是把这种权衡的代价明码标价。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
劳拉新形象太丑胸围被大砍!祖国人看了都没食欲

劳拉新形象太丑胸围被大砍!祖国人看了都没食欲

游民星空
2026-04-29 16:11:32
为什么现金受贿还是会被查到?监委的3个手段你根本想不到

为什么现金受贿还是会被查到?监委的3个手段你根本想不到

细说职场
2026-04-29 19:07:44
村东头砍到村西头,砍死砍伤12名村霸,郝吉寿直言:他们都该死!

村东头砍到村西头,砍死砍伤12名村霸,郝吉寿直言:他们都该死!

易玄
2026-04-27 19:48:46
安德拉达被禁赛13场!染红后一拳击倒对手,3人合计禁赛19场

安德拉达被禁赛13场!染红后一拳击倒对手,3人合计禁赛19场

奥拜尔
2026-04-29 21:51:34
随着中国新星吴宜泽13-8晋级,斯诺克世锦赛4强已经诞生3席

随着中国新星吴宜泽13-8晋级,斯诺克世锦赛4强已经诞生3席

侧身凌空斩
2026-04-30 04:24:21
No!东契奇次轮报销!湖人彻底天塌了

No!东契奇次轮报销!湖人彻底天塌了

篮球实战宝典
2026-04-29 18:51:29
辣眼!侃爷澳洲妻子再穿暴露连体衣,大方展示...!外媒都看不下去了

辣眼!侃爷澳洲妻子再穿暴露连体衣,大方展示...!外媒都看不下去了

澳洲红领巾
2026-04-29 14:44:16
墨菲:赵心童是伟大世界冠军,首次世锦赛夺冠后很难打出他的水平

墨菲:赵心童是伟大世界冠军,首次世锦赛夺冠后很难打出他的水平

世界体坛观察家
2026-04-30 04:25:17
受贿数额特别巨大,广西壮族自治区党委原副书记、自治区政府原主席蓝天立被提起公诉

受贿数额特别巨大,广西壮族自治区党委原副书记、自治区政府原主席蓝天立被提起公诉

界面新闻
2026-04-29 10:03:28
天助穆帅:2-2大冷门,葡超第3遭葡超第17逼平,无缘反超本菲卡

天助穆帅:2-2大冷门,葡超第3遭葡超第17逼平,无缘反超本菲卡

侧身凌空斩
2026-04-30 05:20:15
ESPN:皇马内部认为姆巴佩和维尼修斯无法共存,但老佛爷不这么想

ESPN:皇马内部认为姆巴佩和维尼修斯无法共存,但老佛爷不这么想

懂球帝
2026-04-29 21:30:10
章子怡这张照片真的有点吓到我了!就是后面那些墙壁

章子怡这张照片真的有点吓到我了!就是后面那些墙壁

小椰的奶奶
2026-04-30 00:22:01
特斯拉中国再推促销方案:5月31日前,购买Model 3、Model Y、Model Y L车型5年0息

特斯拉中国再推促销方案:5月31日前,购买Model 3、Model Y、Model Y L车型5年0息

鲁中晨报
2026-04-29 10:48:05
刚下飞机就被抓!美国佬用抓孟晚舟的套路、逮捕了中国公民徐泽伟

刚下飞机就被抓!美国佬用抓孟晚舟的套路、逮捕了中国公民徐泽伟

吃货的分享
2026-04-29 04:49:05
青岛男篮加时不敌山西,米奇30+22段昂君21+6+4,王奕博关键失误

青岛男篮加时不敌山西,米奇30+22段昂君21+6+4,王奕博关键失误

中国篮坛快讯
2026-04-29 22:03:38
美联储主席鲍威尔:如果美联储做出具有政治色彩的决定 市场将失去信心

美联储主席鲍威尔:如果美联储做出具有政治色彩的决定 市场将失去信心

财联社
2026-04-30 03:28:05
贵州一大学生户外瀑降死亡!梦想:爬雪山;赚钱让爸妈过上好生活

贵州一大学生户外瀑降死亡!梦想:爬雪山;赚钱让爸妈过上好生活

追月数星
2026-04-29 15:13:43
不只是点球争议!欧冠赛后突发冲突,西蒙尼怒怼阿森纳大将!

不只是点球争议!欧冠赛后突发冲突,西蒙尼怒怼阿森纳大将!

澜归序
2026-04-30 06:20:10
震惊!李白《静夜思》被篡改“床前看月光”,网友:这才是原始版

震惊!李白《静夜思》被篡改“床前看月光”,网友:这才是原始版

火山詩话
2026-04-29 19:47:16
女子婚恋网站结识“未婚”高管后发现被骗,找人多次向对方发短信被行拘5日 双方互诉均被判侵权

女子婚恋网站结识“未婚”高管后发现被骗,找人多次向对方发短信被行拘5日 双方互诉均被判侵权

红星新闻
2026-04-29 17:58:24
2026-04-30 06:44:49
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
1969文章数 19关注度
往期回顾 全部

科技要闻

今晨庭审纪实|马斯克当庭讲述OpenAI被偷走

头条要闻

普京与特朗普通话:美对伊朗采取地面行动是危险选择

头条要闻

普京与特朗普通话:美对伊朗采取地面行动是危险选择

体育要闻

一场九球狂欢,各路神仙批量下凡

娱乐要闻

马頔一句话,孙杨妈妈怒骂节目组2小时

财经要闻

苏州,率先进入牛市

汽车要闻

技术天花板再摸高 全能型的奕境X9首秀

态度原创

教育
家居
房产
手机
游戏

教育要闻

少儿英语启蒙之上课片段 忽略我不太好听的发音 一直在改善进步啦

家居要闻

寂然无界 简洁风格

房产要闻

80亿投资!浙商总部基地+海口北站,金沙湾这是要起飞啊!

手机要闻

子系迭代旗舰集体涨价:标准版起步就是4000元 机圈变天了

三国望神州:马超实测报告+抽取分析!诸葛之后的又一潜力人权!

无障碍浏览 进入关怀版