用户与AI“聊黄”，开发者获刑！专家解读来了

因大量用户与AI“聊黄”，一款名为Alien Chat的应用的主要开发者和运营者被上海市徐汇区人民法院认定制作淫秽物品牟利罪（profiting from the production of obscene and pornographic content），一审分别获刑四年、一年半。两被告不服判决，提出上诉，案件二审将于1月14日在上海市第一中级人民法院开庭。

AC官方在社交媒体宣传用户创建的AI角色

Alien Chat是一款AI伴侣聊天应用，定位是为年轻人提供亲密陪伴和情感支持。用户注册会员后，即可与AI对话。该应用于2023年5月推出，随后在各大平台上线。不少用户评价这款AI产品“限制少”“聪明”，但也有人表示，其他用户和AI“聊黄”“教坏”了模型，影响了自己的聊天体验。2024年4月，因被用户举报，该应用的开发者和运营者被捕。

Alien Chat is an AI app designed by a Shanghai-based company to provide intimacy, companionship, and emotional support to young people. The app allows users to engage in conversations with an AI powered by a large language model after registering and paying membership fees.

一审判决书显示，该应用手机注册用户11.6万人，其中付费用户2.4万人。截至案发，共收取会员充值费363万余元。该应用的软件在未经安全评估和备案的情况下，违规接入境外大语言模型。软件运行期间，被告人为吸引用户，通过编写系统提示词突破大语言模型道德限制，实现了模型向用户连贯输出淫秽内容的可能。法院审理认为，有高比例用户在该应用上高频率“聊黄”，产生了“大量具体描绘性行为或露骨宣扬色情的内容”，属于淫秽物品，故追究开发者和运行者的刑事责任。

据其中一名被告的律师介绍，该应用设计初衷不是为了沦为黄色聊天工具，修改系统提示词是为了把大模型调试得更拟人化、更灵动，满足用户的情感陪伴需求。

One of the defendants' lawyer said that his client has appealed the ruling, arguing that "the app is not originally designed to disseminate pornography".

The lawyer added that modifications to the system prompts were intended to make the AI "more dynamic and capable of meeting users' emotional companionship needs".

该案再次将AI技术与法律边界问题推向公众视野，为此，双语君也和几位法律界人士聊了聊，让我们一起听听他们怎么说。

在中国政法大学副教授朱巍看来，用户和AI“聊黄”的场景看似是私密的，但大模型不是私密的。也就是说，该应用服务提供者为放任大量违法内容产生创造了环境，在现有法律框架下，这就不再是私事，它的社会危害性就会被法律所认定，服务提供者也要为此承担相关的法律责任。

北京京师律所律师许浩指出，通过生成式人工智能制作和传播淫秽色情内容带来的社会危害性会更大。相比传统方式，AI超强的学习能力让它可以不断对内容进行叠加升级，若不及时监管纠正，容易危害用户特别是未成年人身心健康，污染模型生态环境，为后续的传播埋下隐患。

Xu Hao, a lawyer with Beijing Jingsh Law Firm, said that although one-on-one chats between users and AI may appear private, the underlying models and platforms are public.

"If service providers fail to conduct content safety reviews, it can harm users' physical and mental health, especially that of minors," Xu said.

He said that AI-generated content can be produced and disseminated on a much larger scale than traditional obscene material, posing greater social harm. Technological advancements must not involve illegal or criminal content and must not misuse innovation under the guise of serving users or improving performance.

两位法律人士均向双语君提到了2023年7月出台的《生成式人工智能服务管理暂行办法》（（以下称《暂行办法》），强调服务提供者应严格遵守法律法规，不得以吸引用户或所谓技术研发为由突破安全与道德的底线。

《暂行办法》规定，生成式人工智能服务提供者不得生成暴力、淫秽色情内容，发现违法内容时应当采取处置措施、进行整改并及时报告。

Under China's interim measures for the management of generative AI services, which were unveiled in July 2023, any service provider must not produce violent or pornographic content, and if such content is found, measures must be taken to rectify it.

《暂行办法》还规定，提供具有舆论属性或者社会动员能力的生成式人工智能服务，应当按照国家有关规定开展安全评估，并履行算法备案和变更、注销备案手续。

许浩进一步指出，技术中立并不等同于责任中立，生成式人工智能服务提供者负有对内容进行核查的法定义务。若其未能履行该义务，并从中牟利，就可能被追究相应责任。技术不应被滥用，其健康发展既需要划清伦理与法律的边界，也需要开发者和运营者严守底线，不得冲击公序良俗。

记者：曹音

来源：新京报

跟着China Daily

精读英语新闻

“无痛”学英语，每天20分钟就够！