浙江
因为大量用户在一款名为AlienChat的App上与AI智能体“聊黄”，App的主要开发和运营者被追究了刑责。
涉案App是一款AI伴侣聊天应用，主打为年轻人提供亲密陪伴和情感支持。用户注册会员后，可与AI聊天。两名开发者通过修改AI模型提示词，突破大语言模型的道德限制，该App高频次、大比例的聊天记录被法院认定为淫秽物品。2025年9月，上海市徐汇区人民法院一审判决，两名被告人犯制作淫秽物品牟利罪，分别获刑四年、一年六个月。此案成为国内首起AI服务提供者涉黄获刑的案件。
据媒体消息，案件二审于1月14日下午在上海市第一中级人民法院开庭。当日17时许，此次庭审结束，该案辩护律师告诉记者，法庭未当庭宣判，庭审中也未进行法庭辩论环节，法庭还将择期再次开庭。
在AI快速迭代的当下，新技术与法律的边界在何处呢？
1、“淫秽物品”是在开发者提供的平台上、由用户引导AI生成的，那么“淫秽物品”的制作主体是用户、开发者，还是AI？
在刑法语境中，“制作淫秽物品”的主体是自然人或单位。
北京理工大学法学院副教授陈姿含认为，本案的归责核心在于谁实质控制、设计并推动了淫秽内容的持续生成机制。
本案中，开发者修改大模型提示词和参数约束，突破了模型的伦理、安全限制，使系统具备稳定输出淫秽内容的能力，向付费用户开放。这已不再是中性的“工具提供”，而是对内容生产机制的实质性改造与功能设计，属于刑法意义上的制作行为前置化、自动化，开发者对生成结果具有支配力。
用户在使用过程中通过指令与AI“聊黄”是否构成“制作淫秽物品”呢？
陈姿含认为，这需要区分情形，如果用户仅在私密场景中即时生成内容，并未传播、牟利或固定保存，通常难以满足刑法意义上“制作淫秽物品罪”的构成要件，可能更多属于监管或平台治理范畴。若用户具有组织化、批量化生成、传播、牟利等行为特征，则可能转化为刑事责任主体。
开发者是“机制层面的制作主体”，用户只是内容触发者或使用者，AI是技术工具。此时法律的评价强调“谁设计了违法产出的制度结构”，而非“谁敲下了最后一个指令”。
2、不少人觉得“开发者只是提供聊天工具却要坐牢”，这是不是太冤了？
陈姿含认为，开发者虽然没有直接参与制作淫秽物品，但主动构建、运营、放任违法内容稳定生成的技术系统，并以此获取利益或扩大传播，要承担法律责任。
在传统的共同犯罪中，提供工具的一方通常只是帮助犯，而在互联网时代，App提供方造成大规模用户生成淫秽内容，技术能量的加持让传统的帮助犯已然成为主导者，一旦造成传播，就可能成为主犯。
修改提示词并非中性技术行为，突破伦理限制、诱导色情输出，以获取利益，属于主动违法行为。法院正是基于技术行为与违法结果之间具有高度因果关联和控制关系，认定开发者不再是中立平台，而是实质内容生产者。
3、用户和AI“聊黄”，场景是私密和封闭的，这样也会产生坏影响吗？
从现实风险看，所谓私密封闭的聊天场景其实在互联网环境中具有高度不稳定性，聊天内容可被截图、转发、二次传播；数据可能被平台留存、泄露或滥用；算法模型会通过训练反馈进一步强化色情生成能力，形成对互联网空间甚至模型的污染效应。
从产业层面看，若允许虚拟私密色情生成合法化，会变向引导违法主体以灰色方式绕开监管，形成隐蔽化、规模化的内容黑市，给人身财产权益、社会秩序和公共安全造成威胁。
4、“虚拟伴侣”的法律边界在哪里？
“虚拟伴侣”可以提供情感陪伴、心理支持、互动娱乐，但不能突破公共道德、刑法底线和算法治理红线。陈姿含表示，本案实际上为行业划定了一条明确的警示线，技术创新不构成违法免责理由，系统性放纵内容风险将承担刑事后果。
“虚拟伴侣”在设计、运营层面要注重不得生成淫秽色情、暴力、极端、诱导犯罪、侵害未成年人等违法内容，应建立稳定有效的内容过滤、审计、回溯与纠错机制，这是网络安全法、未成年人保护法，以及《生成式人工智能服务管理暂行办法》的底线要求。开发者不得通过技术手段主动削弱安全机制，不得以用户体验为名突破公共伦理红线，算法设计应符合安全可控，不得将灰色内容作为核心盈利模式或隐性卖点。
来源 南方都市报、光明日报
编辑 肖旭
审核 罗祎 王晨郁
校对 彭申蕾
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
