用户在APP上与AI聊“黄色内容”，两名开发者一审分别获刑四年、一年半，AI服务涉黄案今日二审

来源：扬子晚报

用户和AI伴侣软件聊“黄色内容”，软件的开发者及运营者因此分别获刑。近日，该起AI“涉黄”案引发广大网友的关注。去年9月，该案中两名被告人因犯制作淫秽物品牟利罪分别被判处有期徒刑四年和一年六个月。扬子晚报记者了解到，两名被告人均不服一审判决提出上诉，该案二审于1月14日下午在上海市第一中级人民法院开庭，扬子晚报记者来到现场，直击此次庭审。

据了解，一审过程中，被告人刘某某的辩护律师为其作无罪辩护，认为刘某某主观上不能认定为故意，编写、修改系统提示词并不是为了传播淫秽物品，且与输出淫秽内容之间没有因果关系；AC软件产生的交互聊天并没有9000余万段；未认定刘某某等人采取措施防范色情内容的产生。

辩护人还认为，淫秽内容的输出是大语言模型版本自身原因，用户积极追求以及刘某某等人编写、修改系统提示词等多方面原因造成的，和刘某某等人的行为之间不具有因果关系，不应将淫秽内容的输出归责于刘某某等人。

被告人刘某某则辩称，其编写、修改系统提示词是为了让软件能够顺利运行，编写、修改系统提示词对于色情淫秽内容的产生没有显著作用。

一审法院认为，系统提示词文本、被告人刘某某和陈某某的聊天记录等证据证实，刘某某等人之所以编写并不断修改系统提示词，就是为了让大语言模型更加顺畅地与AC软件用户“聊黄”，主要目的不是所谓地让AC软件顺利运行。编写、修改系统提示词与淫秽内容产生之间存在刑法意义上的因果关系。对此，侦查实验笔录、证人证言，以及被告人陈某某的供述已经证实，若不编写，修改系统提示词，大语言模型不会连续输出淫秽内容。

一审法院还认定，本案中被告人刘某某、陈某某的行为不构成传播淫秽物品牟利罪，应构成制作淫秽物品牟利罪。

▲AC官方账号发布的AI 和用户对话示意图。网络截图

本案中，刘某某等人通过研发AC软件，接入大语言模型，编写和修改系统提示词，宣传引导用户参与聊天，以及持续提供技术支持等方式，制作产生了大量淫秽电子文章。淫秽物品的产生，虽然客观上也有其他原因存在，但刘某某等人编写、修改系统提示词，训练AC软件的行为具有决定性主导作用，也应当将制作淫秽物品的不利后果归责于刘某某等人。至于本案中的违法所得问题，在案证据证明被告人刘某某等人在研发AC软件之初，就意图通过提供“聊黄”服务非法牟利，应认定全部会员充值费用均为违法所得。

刘某某全面负责AC软件的管理和运营，陈某某负责编写软件后端代码和运营维护并领取工资。上海弘连电子数据司法鉴定所出具的司法鉴定意见书显示， AC软件共有手机注册用户11.6万余人，其中付费用户2.4万余人，产生交互聊天427万余段。上海市公安局徐汇分局出具的淫秽物品审查鉴定书显示，经抽样鉴定，随机抽取的150个收费用户的12,495段聊天中，属于淫秽物品的聊天3,618段，涉及141个用户。对排名前20的公开角色对应的收费用户中抽取400段聊天，其中属于淫秽物品的聊天185段。截至案发，被告人刘某某等人共收取会员充值费363万余元。

AC软件是专门为持续生成淫秽色情内容而设计和“优化”的，AC软件向用户输出的聊天内容是高度可控且可预测的，刘某某等人对于输出内容具有实质性控制能力，可以认定刘某某等人系输出内容的制作者。

记者获悉，公安机关还追究了一名AC软件用户的刑事责任。该用户创建角色并公开，角色输出过淫秽聊天内容，还获得平台虚拟货币奖励，因此被以制作淫秽物品牟利罪取保候审。

来源 | 扬子晚报/紫牛新闻记者 徐韶达 马斌