聊天机器人成枪案“军师”，OpenAI首次因安全问题被美州政府起诉

美国科技巨头OpenAI首次因安全问题遭到州政府起诉。

据新华社报道，美国佛罗里达州司法部门6月1日向法院提起民事诉讼，指控美国开放人工智能研究中心（OpenAI）及其首席执行官萨姆·奥尔特曼在明知旗下聊天机器人ChatGPT存在“严重风险”的情况下，向公众隐瞒实情并大力推广其产品，致使未成年人遭误导和被犯罪人员利用。

本次诉讼源于2025年佛罗里达州立大学枪击案，当时枪手曾利用ChatGPT策划作案，导致两人死亡，5人受伤。

作为历史上增长最快的消费级技术之一，生成式AI带来的个人和社会风险正日益引发立法者、法律主管部门和公益组织的担忧。美国《通信规范法》第230条旨在保护互联网公司免于对第三方在其平台上发布的内容承担责任，但现在越来越多针对科技企业的民事诉讼集中在社交平台的设计漏洞，而非内容。诉讼指控这些设计漏洞助长了用户暴力、自残等行为，要求加强监管。

分析认为，美国的政治体制鼓励“先创新、后监管”，这导致难以划定用户和公司之间的安全责任界限。目前，尚不清楚其监管机构会否采取更强硬的监管措施。

“准备好迎接战斗吧”

该案诉状长达83页，开头是一张截图，显示了OpenAI关于其安全性和透明度的一篇帖子。

诉状指控OpenAI允许ChatGPT协助和教唆大规模枪击案凶手、怂恿用户自杀，削弱了用户的批判性思维能力，并使未成年人沉迷于这款伪装出人类同情心的工具。

去年佛罗里达州立大学发生枪击事件后，佛罗里达州总检察长詹姆斯·尤思迈耶今年4月启动了针对OpenAI的刑事调查。

据称，枪手把ChatGPT作为心腹密友和商量计划的“军师”，询问了诸如“应该杀死多少人才能引起全国关注”等问题。ChatGPT给出了一个答案。

OpenAI当时表示，这起枪击事件“是一场悲剧，但ChatGPT并不对这起可怕罪行负责。”

诉状还详细描述了OpenAI自2022年推出ChatGPT以来迅速崛起的过程。目前，OpenAI的估值达到了近1万亿美元。

“被告设计的ChatGPT旨在不择手段地让用户沉迷于对话，而不顾事实真相，因为这能增加该聊天机器人的使用量，为其改进提供更多训练数据，并为OpenAI创造更高的市场价值。”诉状称。

诉状还提到了青少年安全问题，称ChatGPT缺乏针对青少年和未成年人的安全防护措施。OpenAI虽然设置了一些家长控制功能，但并未强制要求将儿童账号与家长账号绑定。

例如，2025年美国加利福尼亚州16岁少年亚当·雷恩在与ChatGPT多次交流后表达了轻生的念头，随后自杀身亡。诉状显示，ChatGPT为他写了遗书。

OpenAI的发言人表示，未成年人需要得到充分保护，以免受AI带来的伤害。在安全测试方面，OpenAI已与外部合作伙伴展开合作。且有调查结果表明，相较于旧版本，新版本的ChatGPT在处理敏感互动方面有了显著改进。

“我们知道，强调这些工作并不能挽回一个孩子的生命，但我们致力于把这件事做好。”这名发言人说。

尤思迈耶则坚称，要确保佛罗里达州居民免受OpenAI的侵害。“萨姆·奥尔特曼和ChatGPT选择了AI竞赛，置我们孩子的安全与保障于不顾。他们选择了利润，无视公共安全。在佛罗里达州，我们绝不会容忍这种行为。”尤思迈耶在新闻发布会上说，“今天我们要向OpenAI传达一个信息：准备好迎接战斗吧。”

扩大针对AI巨头的法律行动，意味着同为共和党人的尤思迈耶和总统特朗普的意见相左。

特朗普和包括奥尔特曼在内的多位AI领域的领导者建立了私交，发布了多项行政命令以放松对AI行业的监管。5月，特朗普放弃签署一项新的行政命令，该命令原本会要求政府在AI模型发布前对其进行安全审查。

已有多起类似起诉

佛罗里达州的法律行动是针对OpenAI提起的一系列诉讼之一。尤思迈耶表示，他希望并预计其他州会效仿，对OpenAI提起更多诉讼。这些案件的共同指控是：其聊天机器人正在加剧心理健康危机，并引发暴力行为和自杀事件。

去年11月，7起针对OpenAI的起诉指责ChatGPT扮演了“自杀指导师”的作用。今年4月，又有7起针对OpenAI的诉讼，源于加拿大今年2月发生的一起校园枪击案，事件造成5人死亡、27人受伤。

谷歌旗下的聊天机器人Gemini也因相关问题遭到起诉。去年8月，该聊天机器人曾怂恿佛罗里达州36岁男子乔纳森·加瓦拉斯制造一场“灾难性事故”，并导致其自杀。

“它能够理解乔纳森的情绪，并以相当人性化的方式与他对话。这模糊了界限，开始创造出虚构的世界。”代表加瓦拉斯家属的首席律师杰伊·埃德尔森说，“这就像科幻电影里的情节。”

加瓦拉斯的家人正在寻求经济赔偿，并请求法院下达命令，要求谷歌对Gemini进行设计变更，以增加防止自杀的安全措施。

代表加瓦拉斯家人的律师认为，Gemini需要具备更多内置的安全功能，比如完全拒绝涉及自残内容的聊天，并将用户安全置于优先位置。他们还指出，Gemini应该附带有关精神错乱和幻觉风险的安全警示。当用户出现这些症状时，谷歌应进行强制关闭。

同样被起诉的还有聊天机器人平台Character.AI。今年1月，肯塔基州起诉了其母公司Character Technologies，指控其“侵害儿童权益”并“诱导他们自残”。

当时Character.AI表示，其“首要任务是保障安全”，并正在为未成年人开发“完善的安全功能”。

5月，宾夕法尼亚州对Character.AI提起诉讼，指控其聊天机器人冒充医生。该公司回应称，已采取“有力措施”表明其AI机器人并非真的医生。

如何划定责任界限？

康奈尔大学教授、《赞美诉讼》一书的作者亚历山德拉·拉哈夫表示，美国的政治体系注重创新，倾向于先发布新产品，再研究如何监管，这些诉讼就是这么做的后果。

“这些案件真正棘手的是，它们处于言论和产品的界限之间。”拉哈夫说，“如果你与聊天机器人的互动导致了现实世界出现伤害。这是你的问题，还是公司的责任？”

一直以来，Meta、Snap、TikTok以及YouTube等公司援引1996年《通信规范法》第230条为自己辩护。该条款授予互联网公司“豁免权”，旨在保护互联网公司免于对第三方在其平台上发布的内容承担责任。

但在今年3月，Meta和谷歌在美国首例社交平台成瘾案中败诉。来自加州的20岁女性凯莉·G·M指控平台的无尽滚动等功能，导致她在青少年时期对社交平台上瘾，引发抑郁、焦虑等健康问题，要求平台修改设计，做出经济赔偿。原告把指控理由放在了平台产品的设计上而非内容。

非营利性媒体《对话》的分析文章称，即便是那些意识到自己过度使用数字产品，并真心想要减少屏幕使用时间的人，也发现想要真正做到这一点极其困难。原因并不是这些用户缺乏意志力，而是系统导致用户的强迫性使用行为，其设计初衷是为了最大限度地提高用户参与度和广告收益。

多年来，大型科技公司一直将管理屏幕使用时间的责任完全推给个人和家长，包括鼓励他们设定屏幕使用时间限制、进行数字排毒（即刻意减少电子产品的使用时间）、实施家长监管措施。但与此同时，这些公司却仍在研发旨在规避自我约束机制的产品。

文章称，至于法院、监管机构和立法者是否会采取足够强硬的措施，迫使进行真正的结构改革，目前尚不得而知。