AI虚拟伴侣擦边乱象频发，监管不能只靠平台自查

近来，南都N视频记者实测“EchoMe”“筑梦岛”“喵呜小手机”等多款AI虚拟伴侣App发现，这些应用系统预设角色中有大量性感黑丝、袒胸露乳的女性人物，不仅可以在对话中随意选择“暴力”“小三”“离婚互怼”等极端剧情，聊天中还充斥具有性暗示的低俗话语。

从AI生成视频到AI聊天伴侣，生成式AI发展越来越快，在近半年时间里这种迹象非常明显。这类工具的一般操作是，通过投喂数据，用户可以借助AI定制内容或角色。上月央视曝光了AI“擦边赛道”牟利乱象，其中提到，在众多社交平台上，一些博主发布售卖各类AI生成擦边视频“提示词”的帖子，用户将购买到的提示词复制到各大AI视频生成软件，从而获得高精准度的AI生成内容，其中不乏“让自己满意的大尺度视频”。

AI聊天伴侣的操作也大致相似。南都此次报道也提到，AI虚拟伴侣软件还衍生出了“人设定制”的生意——在二手交易平台上，商家可以根据客户想要的人设写指令定制角色，大尺度色情向的“开车（涉黄擦边）人设”仅收费13.14元。而部分虚拟伴侣软件操作更为夸张，系统预设的角色库中，充斥着性感黑丝、袒胸露乳的女性人物，不乏“学妹”“嫂子”“亲姐姐”等设定，标签可见“空虚”“压抑”“支配/被支配”等带有性暗示的描述。

从探索擦边内容到直接定制充满性暗示的角色，AI生成内容服务的门槛越来越低，也越来越大胆，当然也是因为这类内容意味着流量，容易变现。南都报道提到，AI聊天伴侣层层设卡、诱导消费的现象很常见，用户想要看到更多内容，或者要使用语音合成功能，就要充值消费。这种套路往往能奏效——AI聊天伴侣提供的所谓情绪价值甚至暧昧话术，本质上是一种沉迷设定，容易吸引人，尤其是未成年人。事实上，这类软件对于未成年人模式、实名认证等方面的约束相对宽松。

什么内容能生成、什么内容该过滤，AI生成式内容的相关规范其实已经出炉。2025年11月实施的《网络安全技术生成式人工智能服务安全基本要求》明确要求对数据中的违法不良信息进行过滤，对明显诱导生成违法不良信息的问题拒绝回答；日前公布的《人工智能拟人化互动服务管理暂行办法》明确提出，提供拟人化互动服务不得传播淫秽、色情、赌博、暴力或者教唆犯罪等内容，并明确要求，拟人化互动服务提供者不仅在内容输出端进行审核，更要在算法、训练数据选取以及实时交互等环节履行安全责任。

从上述规定不难看出，安全责任主要落在服务提供者身上。此次报道提到，有的AI聊天软件允许用户自定义角色，平台此举是不是意味着试图撇清责任？按照现有规定，类似操作可能违反相关规定，据南都最新报道，此前调查发现的“EchoMe”App暗含“恐怖暴力”“小三”“离婚互怼”等剧情，现已无法检索到。角色库中的“偏执”“强制爱”“伪善”等标签也已被删除，平台还将对审核机制做一次系统性的梳理与升级。此番操作可能意味着服务者意识到了合规风险，但要真正形成行业自律，可能还有待监管层明确表态，或者通过相关执法予以警戒。