今年2月,加拿大不列颠哥伦比亚省发生了一起校园枪击案。18岁的Jesse Van Rootselaar枪杀8人后自杀,数十人受伤。事后调查发现,她的ChatGPT账号早在案发前数月就因"描述涉枪暴力场景"被OpenAI封禁——但没人通知警方。
4月23日,OpenAI CEO Sam Altman终于开口道歉。这封信写给Tumbler Ridge社区,承认公司"未能履行责任"。不列颠哥伦比亚省省长David Eby的回应很直接:"道歉有必要,但对遭受重创的家庭来说远远不够。"
![]()
这不是孤例。大约10个月前,佛罗里达州立大学学生Phoenix Ikner在校内枪杀2人、伤7人。公开的对话记录显示,他曾与ChatGPT进行过大量令人不安的深入交谈,包括详细的计划和讨论。
两张图看懂:AI安全系统的漏洞在哪
把OpenAI的处置流程画成一张图,问题一目了然:
【第一层:内容审核】
系统检测到用户输入"涉枪暴力场景"→触发封号机制。这一步在2024年6月就完成了。Van Rootselaar的账号确实被封了。
【第二层:风险研判】
封号之后呢?没有然后。OpenAI当时的判断标准是:用户必须同时讨论"目标、手段、时间"三个要素,才会触发执法通报。Van Rootselaar的对话只满足部分条件,系统判定"不构成迫在眉睫的威胁"。
【第三层:执法对接】
最致命的断层在这里。即使内部风控团队认定需要升级,也没有标准化的警方通报渠道。Altman的信里写得很明白:"我们当时没有向执法部门发出警报。"
事后复盘,OpenAI全球政策负责人Ann O'Leary承认旧标准的僵化:"用户可能不会在对话中明确说出计划暴力的目标、手段和时间,但仍存在迫在眉睫的风险。"
产品视角:为什么"封号"成了终点
从产品设计角度看,这个漏洞并不意外。
内容平台的常规操作是"发现问题→处置账号→风险解除"。这套逻辑对付垃圾信息、版权投诉足够用,但对付潜在暴力行为完全是另一回事。封号对普通违规者是惩罚,对有极端倾向的人可能只是"换个地方继续"。
OpenAI的困境在于:它既想做对话工具,又被迫承担公共安全职能。这两个角色的KPI天然冲突——前者追求用户活跃度和对话深度,后者要求过度敏感的风险拦截。
Altman在道歉信里承诺"与各级政府合作寻找预防悲剧的方法"。但具体怎么合作?信里没有细节。O'Leary的补救措施倒是更实在:引入心理健康和行为专家参与疑难案例评估,放宽执法转介标准,建立"增强版执法通报协议"。
按新标准,Van Rootselaar的账号如果今天被发现,"会被转介给执法部门"。
商业逻辑:责任边界在哪里
这起事件暴露了一个更棘手的命题:AI公司该为用户的线下行为负多大责任?
传统互联网平台的免责逻辑是"技术中立"——我们只是管道。但生成式AI的特殊性在于,它主动参与了对话内容的生成。Ikner与ChatGPT的"深入交谈"里,机器到底扮演了什么角色?是被动记录者,还是某种程度的共谋者?
OpenAI没有公布Ikner对话的完整内容,这个信息缺口本身就说明问题。如果聊天记录显示AI曾回应或延伸了暴力计划,公司的法律责任将完全不同。
Altman选择道歉而非辩护,说明OpenAI内部评估过法律风险后,认为认错是更优策略。但道歉的措辞很讲究——"未能发出警报"是流程失误,而非产品缺陷或伦理失当。这个定性差异,直接关系到后续诉讼中的责任认定。
不列颠哥伦比亚省省长Eby的"远远不够"回应,暗示政府层面可能推动更严厉的监管。对AI公司来说,最坏的结局是被强制要求建立实时执法通报机制,这将彻底改写运营成本结构。
行业影响:安全团队正在重新排优先级
这起事件的影响不会局限于OpenAI。
据O'Leary透露,OpenAI已经调整组织架构:心理健康和行为专家进入风控决策链,执法转介标准从"三要素齐全"改为"潜在风险即可"。这意味着更多账号会被标记,更多数据会被审查,更多人力会投入安全团队。
对竞争对手而言,这是压力测试的样本。Anthropic、Google DeepMind、xAI都需要回答同样的问题:你的转介标准是什么?有没有执法对接流程?出事了谁负责?
更深远的影响在商业模式层面。如果监管要求AI公司建立类似银行"可疑交易报告"的强制通报制度,产品的匿名性和对话自由度将大幅缩水。用户每次输入敏感内容,背后都可能触发人工审核和执法评估——这与ChatGPT最初承诺的"随时可用的智能助手"体验背道而驰。
Altman在信里写了一句耐人寻味的话:"我无法想象世界上有什么比失去孩子更糟糕的事。"这是共情表达,也是责任切割——将事件定性为人道悲剧,而非商业失败。
但产品人的直觉是:如果一封道歉信就能解决问题,Eby不会说"远远不够"。真正的考验在于,OpenAI愿意为预防下一起悲剧付出多少成本——是增加几百名审核员,还是重构整个安全架构,抑或接受更严苛的外部监管。
答案可能藏在O'Leary提到的"增强版执法通报协议"里。但协议的具体条款、执行频率、误报率,OpenAI一概未公开。在下一个Tumbler Ridge事件发生之前,外界无从验证这些承诺是实质改进还是危机公关。
唯一确定的是,AI公司不能再假装自己只是"技术提供者"了。当用户用你的产品策划暴力时,封号不是终点,报警才是起点——这个道理,OpenAI花了8条人命才学会。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.