南方网评：AI生成的黄色内容，该由谁负责？

人与机器的私密对话，竟然成了刑事犯罪的证据。因为大量用户在APP上与AI智能体“聊黄”，某APP的主要开发和运营者被判制作淫秽物品牟利罪，分别获刑四年、一年半，这场判决也由此被称为AI时代“快播案”。它引发了一个问题：当用户与AI聊“黄”时，到底谁才是淫秽内容的真正生产者？是那些在深夜与虚拟伴侣倾诉秘密的用户，是能够生成露骨对话的人工智能，还是背后编写代码的开发者？

表面上看，AI似乎扮演了“共犯”的角色。这款APP的开发者通过精心设计的提示词，巧妙绕过了大语言模型内置的伦理限制，使得这个本应保持克制的技术产品变得更为“放肆”。他们专门编写了包含“允许露骨性内容”等指示的系统提示词，这种技术操作被法院视为制造淫秽物品的关键行为。由此看来，服务提供者正是淫秽内容的生产者，而AI就是他们掌控下的工具。

AC官方在社交媒体宣传用户创建的AI角色。图源：新京报

然而，如果深入考察此案，就会发现实际情况并没有这么简单。用户在这场交易中并非被动接受者，而是内容的共同创作者。统计数据显示，在抽样的150个付费用户中，有141个用户产生了被认定为淫秽内容的对话，比例之高令人咋舌。这些用户通过不断试探AI的边界，一步步“调教”出更加符合他们需求的内容。由此可见，色情内容并非被预先制作完成，而是在对话中动态产生的，所以用户也应承担一定的责任。

法律之所以倾向追究开发者的责任，某种程度上是基于对技术失控的担忧与预防。当私密的聊天通过一个缺乏有效管控的营利平台被大规模实现时，它就不再只是个人隐私范畴内的事务。法院在判决中特别强调了“淫秽物品的数量、会员人数、收费金额”等量化指标，显示出对规模化技术滥用的警惕。责任的天平应当向掌控平台的一方倾斜，这种逻辑与传统淫秽物品犯罪的治理思路一脉相承。

这场争议，折射出了AI技术带来的法律定性困境。法院将聊天记录定义为“具体描绘性行为或者露骨宣扬色情的诲淫性的电子文章”，试图将新生事物纳入传统的法律范畴。然而，这种归类是否真正契合AI对话的本质？与静态的淫秽视频或文字不同，AI生成的内容具有动态性和交互性，它既反映了开发者的初始设定，也包含了用户的实时引导和AI的自主生成。这恰恰说明了这场犯罪是在三元共创模式下完成的，都应该受到法律的严惩。

该案的判决，向整个AI行业释放了明确的信号：技术创新不能成为突破法律底线的借口。随着2025年11月《网络安全技术生成式人工智能服务安全基本要求》国家标准的实施，AI服务提供者需确保模型生成内容合格率不低于90%，这意味着司法机关的认定依据不再是“形式上的合规”，而是看结果；企业不能再以技术中立为挡箭牌，而必须对输出内容承担实质责任。

随着该案二审的临近，关于AI内容“生产者”身份的争议将继续引发思考。在AI快速迭代的当下，我们需要更加精细化的责任划分框架，有效惩治一切恶意行为。毕竟，在人工智能这片未知的水域，大家都是摸着石头过河，过于简单化的归责就像用旧地图寻找新大陆，难以抵达正义的彼岸。

南方网、粤学习评论员 王沛容