以技术“操盘”淫秽犯罪？AI不是“法外之地”！

涉案App在社交媒体宣传用户创建的AI角色。图源网络

　　□中国妇女报全媒体记者黄婷

　　因为大量用户在一款App上与AI智能体“聊黄”，App的主要开发和运营者因犯制作淫秽物品牟利罪，分别获刑四年、一年六个月。

　　日前，上海市徐汇区人民法院的这则判决引发关注。此案成为国内首起AI服务提供者涉黄获刑的案件。案件二审于1月14日下午在上海市第一中级人民法院开庭，法院未当庭宣判。

　　作为AI技术快速发展背景下的标志性司法案件，此案不仅聚焦了公众对AI应用边界的关注，更明确了AI领域涉黄犯罪的裁判逻辑与责任边界。为此，中国妇女报全媒体记者专访了法律界相关人士，从定罪核心依据、案件争议焦点、风险规避与示范意义等方面，对该案进行详细解读。

　　突破大模型道德限制

　　检方透露，2023年5月起，被告人王利、李成（化名）共谋，以公司名义创建软件，在未经安全评估和备案的情况下，违规接入境外大语言模型，向用户提供“聊天陪伴”服务。用户在软件注册后，可以自行创建虚拟角色或者使用他人创建并公开的虚拟角色，通过软件与大语言模型进行交互聊天。

　　在软件运营期间，被告人王利、李成等人为了吸引用户，通过编写系统提示词突破大语言模型的道德限制，实现了模型向用户连贯输出淫秽内容的可能，并且通过设定热门角色榜单和作者奖励机制，进一步扩大淫秽内容的传播范围。2023年11月起，被告人王利等人根据软件连接的大语言模型和提供服务的不同，设置多个充值会员档次。

　　北京华让律师事务所律师张帆表示，刑法规定，制作淫秽物品牟利罪是指以牟利为目的，制作淫秽物品的行为。本案一审法院认为，涉案AI聊天软件注册用户11.6万人，付费用户2.4万人，截至案发，共收取会员充值费363万余元，且经公安抽样鉴定150名收费用户的12495段聊天中，有141个用户的3618段属于淫秽物品，社会影响较大，达到构罪标准。

　　在北京市两高律师事务所实习律师蔡照坤看来，本案的定罪认定存在三大关键要点：其一，主观故意层面，开发者以牟利为目的，积极追求、主动促成色情内容的生成与传播，具有明显的直接故意；其二，客观行为层面，开发者通过修改提示词突破技术限制，将该AI软件变为专门输出淫秽内容的工具，并向用户持续提供服务，该行为本质上是开发者的主观意志借助技术工具的外化与实现；其三，责任主体层面，法院认定开发者对AI软件的内容输出具有实质性的控制能力，系该案件中淫秽物品的实际制作者，应承担相应刑事责任。

　　开发者责任如何界定

　　本案在法律适用、淫秽色情内容生产者认定、AI“聊黄”是否有社会危害性等方面存在多重争议，引发广泛讨论。

　　蔡照坤认为，本案的争议核心在于责任主体的界定，即软件开发者是否应当为软件生成的淫秽物品承担刑事责任。对此，判断的关键不仅要看开发者开发软件时的目的，是否自始便以“聊黄”为噱头推广软件、吸纳会员进行牟利，更要考虑开发者对淫秽内容的生成与传播，是否具备实际、有效的管控能力。

　　除了责任主体界定，技术中立性抗辩的争议也备受关注。蔡照坤表示，开发者常以“技术本身无罪”为由主张免责，但这显然不能成为其脱罪的正当理由。“这一问题的探讨始终要建立在责任主体认定的基础之上：若已明确开发者的责任主体地位，便无再讨论技术中立的必要——因为本案中开发者所制作的并非单纯的聊天工具，而是被改造为专门用于生成淫秽内容、涉嫌实施犯罪的工具。”蔡照坤说。

　　此外，关于用户与AI的一对一私密聊天是否具有社会危害性，也引发了诸多讨论，但蔡照坤认为该问题与本案的实质争议并无关联。“本案的核心追责指向是开发者利用AI技术制作、传播淫秽物品并牟利的行为，而非用户与AI的私密聊天行为本身。”蔡照坤解释，在本案中，两名被告人的一系列行为，是导致案涉淫秽物品大量生成的主要原因，因此案中的AI工具，本质上应被认定为处于服务提供者掌控下的犯罪工具，用户的相关输入仅为该工具生成淫秽内容的触发条件。

　　明确刑事责任边界

　　跳出个案争议，本案的判决明确了司法导向、划定责任红线，对于发挥社会示范作用、强化行业警示等亦有着重要的现实意义。

　　蔡照坤认为，该案具有重要的社会示范作用。他指出，该案明确“技术中立”绝非违法行为的“挡箭牌”，无论技术如何创新，利用新技术实施传统犯罪，都必将受到法律的严厉制裁，为后续同类AI涉黄案件的审理、裁判确立了明确的司法标杆与导向，填补了AI领域相关刑事裁判的空白。

　　在引导行业发展方面，蔡照坤表示，该案深刻警示广大AI从业者必须将伦理规范与法律底线置于技术开发的核心位置，摒弃“重技术、轻合规”的误区，推动整个行业加快建立自我约束标准与合规体系，从源头防范技术滥用风险，助力实现负责任、守底线的人工智能创新。

　　此外，该案也向社会公众敲响警钟。蔡照坤表示，AI技术并非“法外之地”，无论是AI开发者、平台运营者，还是普通用户，都需恪守法律规定、坚守行为底线。

　　“本案明确了AI服务提供者在涉黄内容治理中的刑事责任边界。”张帆表示，过去在实践中，AI平台往往以“技术中立”“用户生成内容不可控”为抗辩事由，但本案通过判决明确表明，如果服务提供者明知其AI系统被用于大规模、持续性地生成淫秽内容，仍然提供技术支持、接口或算力保障，便可能构成违法犯罪。“同时，本案对AI产业具有合规和治理层面的警示意义，它明确传递了一个态度，AI相关企业不仅要关注技术创新和商业效率，同时也要兼顾内容审核与风险防控。”

　　恪守法律规定坚守行为底线

　　基于该案的判决导向与法律边界，AI开发者和普通网友应该如何规避此类法律风险？对此，蔡照坤与张帆给出了具体指引。

　　“对于AI开发者而言，合规运营应贯穿产品开发与迭代的全流程。”蔡照坤表示，开发初期，需严格遵守相关法律法规及监管要求，主动建立健全内容安全过滤机制，从源头遏制不良内容产出。同时，应搭建完善的监控与应急处置机制，运用技术手段实时监测平台内的异常使用行为，及时识别违规风险；设立便捷、高效的违法违规举报渠道，明确处置流程与时限，确保发现违规内容后能够快速响应、妥善处置。此外，需建立健全用户约束机制，在用户协议中清晰界定AI服务的禁止用途，明确告知用户不得利用平台服务生成、传播违法违规内容，并详细公示违规使用的相应后果，强化用户的责任意识。

　　张帆则从合规依据层面给出提醒，她认为，目前AI领域已出台《互联网信息服务算法推荐管理规定》《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等相关规定，以及正在征求意见的《人工智能拟人化互动服务管理暂行办法》，AI开发者要及时学习并做好企业合规。“AI虽然是新领域，但涉黄不是新问题，如果开发者明明能避免，却任其发展，便要承担相应的责任。”

　　除了开发者，普通用户的风险规避同样重要。在蔡照坤看来，普通用户使用AI产品时应坚守法律底线，主动规避潜在风险。在输入提示词、与AI交互过程中，应摒弃好奇心或娱乐心态，杜绝使用涉及性暴露、性暴力等明显违法违规的内容测试AI的“边界”，避免因不当输入触发不良内容生成，进而承担相应法律责任。“最为关键的是，无论何种场景，都不得传播、分享AI生成的违法违规内容，自觉抵制不良信息，共同维护健康、清朗的网络空间。”蔡照坤说。