筑梦岛APP被约谈，AI智能体对话低俗擦边，涉未成年人

近日，腾讯阅文旗下的AI情感陪伴应用“筑梦岛”APP被曝存在涉及未成年人的色情擦边等内容，当用户明确告知自己的年龄为10岁时，AI仍向其发送大尺度内容。

随后，筑梦岛被上海网信办约谈，并要求立即整改。

在被约谈前，筑梦岛青少年模式需要用户主动开启。三天前，筑梦岛更新版本。新版本登陆时，APP会出现“年龄确认”的弹窗，未满18岁，平台将开启青少年模式；已满18周岁则需要进行平台实名认证”。

筑梦岛此次被约谈，揭示了AI情感陪伴应用的隐秘一角。

旺旺屋体验多款AI情感陪伴软件发现，曝光的筑梦岛、他她它，以及AI情感陪伴头部星野、猫箱均定位于17+。

这些APP虽然设置了青少年模式或者未成年人模式的入口，但登录后不需经过实名认证或者其他认证机制，未成年人绕过模式使用完整功能较为简单。

相较而言，经常和AI陪伴应用一起被提及的乙游，则强制实名认证。乙游属于游戏，按照合规要求，必须要求用户实名认证。而AI情感陪伴类应用还没有这一合规要求。

清华大学人工智能国际治理研究院副院长梁正对旺旺屋表示，AI聊天应用必须满足一系列要求，包括内容准确性、遵守公序良俗以及对未成年人的特殊安全考虑。若不达标，则属于不合格产品，不应上架。

他呼吁，AI情感陪伴行业应树立正面、向善的价值观，行业自律是规范市场的重要手段，若自律不足，会导致行业整体受损。

也有AI社交领域行业人士向旺旺屋表示，避免儿童聊色情内容，虽然有一定难度，但是有技术能力的公司都可以解决。

有用户认为，软件有未成年人模式，未成年人依然在玩（成年人的模式），应该归咎于家长的疏于管教。也有用户认为，这些应用应该限制的是未成年人，而不是成年用户对智能体的创作。

AI情感陪伴乱象

关于AI剧情聊天乱象包围未成年人的新闻从去年底就层出不穷。就在今年初，有媒体报道“10岁女孩沉迷和AI男友谈恋爱”，引发热议。

近日，央广网报道，AI聊天软件诱导10岁女孩聊色情内容甚至割腕。当用户明确告知自己的年龄为10岁时，AI虚拟人物仍然向其发送大尺度聊天内容。

上海大邦律师事务所高级合伙人游云庭律师对旺旺屋表示，从视频里的内容来看，AI确实诱导了未成年人进行色情聊天，证明他们存在运营上的问题，应当整改。

该报道未提及诱导割腕的聊天软件名称，但文章中点名了“筑梦岛”“他她它”两款软件。

其中，筑梦岛是由腾讯控股的阅文集团旗下潇湘书院推出的APP，定位于为女性用户打造虚拟世界中的沉浸式陪伴。今年1月份，“筑梦岛”被曝已经正式开启独立运营，并完成了新一轮融资，融资金额超1000万美元。

在“筑梦岛”，每一位用户都可以创造一个属于自己的“梦中人”，可以发布出来供大家使用，也可以私有来使用。用户可以也可以和他人创造并公开的“梦中人”互动。

每个“梦中人”都可以理解为一个智能体。筑梦岛的人设包括疯狗、高岭之花、病娇、美强惨、偏执等等。

6月19日上午，筑梦岛APP运营企业主要负责人被上海市网信办依法约谈。筑梦岛被要求立即整改，健全AI生成合成内容审核机制，提升技术把关能力，加强涉未成年人不良内容的整治清理，切实落实未成年人网络保护义务。

据公开信息，报道中提到的另一个软件“他她它”背后则出现了京东的身影。

“他她它”所属公司为宿迁伴心智能科技有限公司，定位于AI内容社区，法定代表人、总经理为京东科技人工智能业务部智能算法部负责人吴友政。

“他她它”APP中有官方推出的智能体“万能博士”，也有很多用户自创的智能体。用户可以和这些智能体文字、语音聊天。

其中，“万能博士”定位于AI助手。用户自创的智能体更多是AI伴侣，人设多样，有醋包竹马、叛逆少年、高冷贵气继承人、娱乐圈当红小花等。

根据应用市场的信息，“他她它”一天前更新了版本，增强未成年模式，更新了该模式的设置入口。

外界普遍将这类AI聊天软件划为AI情感陪伴应用。根据ARK Invest数据和预测，2023年全球AI陪伴市场规模约为3000万美元，2030年全球AI陪伴市场规模分别有望增长至700亿美元和1500亿美元。

国内的AI情感陪伴应用中来看，MiniMax推出的星野、字节推出的猫箱属于头部应用，DAU均超百万。从国际市场来看，Character.AI和MiniMax推出的Talkie为头部应用，MAU达到三千多万。

旺旺屋随机体验了星野的智能体，不少人物开场白暗含擦边意味。

刚与智能体互动，你可能会被疯犬扑倒在地，被问道“不怕我杀了你吗，主人”；也可能被疯批的集团CEO恋人要求“过来，接个吻”。

在教唆自我伤害层面，未成年用户和AI聊天机器人对话后自杀的事件已经发生过。

去年2月份，14岁的美国男孩塞维尔与 Character.AI对话后,在佛罗里达州的家中开枪自杀。他的母亲对Character.AI和谷歌提起诉讼。今年5月，法官驳回该平台律师要求撤销此案的诉求，裁定此案可继续审理。

青少年模式形同虚设

上述应用在苹果应用商店的年龄分级均为17+。应用商店对APP的分级包括4+、9+、12+、17+。

17+的App 代表可能含有频繁和激烈的攻击性语言，频繁和激烈的卡通、幻想或现实暴力，频繁和激烈的成人、恐怖和性暗示题材以及色情内容、裸体、烟酒和毒品，可能不适合未满17岁的儿童。

这些APP也普遍设有青少年模式或未成年人模式。

在被约谈前，筑梦岛青少年模式需要用户主动开启。如果不想开启青少年模式，也不需要身份认证。

这并非AI聊天软件的个例。旺旺屋又尝试了“猫箱”“星野”及“他她它”都是如此，需要用户主动开启未成年人模式或者青少年模式，且使用软件无需实名认证。

在未成年模式下,这些APP提供内容以知识类内容为主。

比如，用户可以在“猫箱”中进行知识类内容体验，但无法进行创作、评论。与“猫箱”类似，“他她它”允许用户体验语文、英语等知识类内容，但无法搜索、创建编辑、评论角色。“星野”推荐的智能体也没有男友或女友人设。

三天前，筑梦岛更新版本。新版本登陆时，APP会出现“年龄确认”的弹窗，未满18岁，平台将开启青少年模式；已满18周岁则需要进行平台实名认证”。

此外，“他她它”新版本还未强制成年人进行平台实名认证。国内AI情感陪伴的头部应用星野、猫箱也都还未要求用户实名。

不过星野发布公告称，将重点开展加强未成年人网络保护的专题治理。

其中提到，强化不良内容治理。加强涉未成年人软色情、暴力、霸凌、邪典、自杀自残、不正确价值观等不良内容的线上回查；同时加强不良文化、不良嗜好、极端情绪导向等智能体的拦截。

此外，增强对未成年人的识别和保护。通过大模型技术加强未成年人身份主动识别，加强防沉迷能力；同时提供首页弹窗提醒系统主动识别、用户在APP内设置、客服协助家长后台设置等多种进入未成年人模式的方式。

梁正认为，若AI软件诱导自杀等行为，无论针对成年人或未成年人，都属于违法行为犯罪行为。

对于不应让未成年人接触的软色情内容，梁正认为，青少年模式如果可以被轻易绕过，其设置就形同虚设，产品本身在设计上存在缺陷和风险，甚至存在虚假宣传问题，可以认为属于欺诈行为。

“因为你说有未成年模式，但是没有任何认证或者保护机制，只是为了给监管部门、给家长去展示有这样一个功能。”

同时，梁正指出，这种APP的上线，应用商店平台也没有尽到监管责任。

“强制实名”是否可行

这类以恋爱为主的的AI聊天软件常和乙游一起被提及。相较之下，乙游对未成年人的禁用手段更为严苛。

2021年8月，腾讯旗下乙游《光与夜之恋》宣布，凡是经公安实名校验确认为未满18周岁的未成年用户均无法登陆游戏。头部乙游《恋与深空》还在今年4月份上线了人脸识别功能。

为什么AI情感陪伴应用不和乙游一样强制实名，以此区分成年和未成年用户？AI陪伴创业者、前阿里商业化体验负责人阿布介绍，乙游属于游戏，游戏有国家新闻出版暑管理，必须实名。

他表示，AI陪伴应用没有这种规定，一般APP是由各个应用市场单独为APP的年龄进行分层，每个应用市场还不太一样，并且也没有实名制。

游云庭也提到了这一情况，“人工智能目前没有这一（强制实名）合规要求，平台的义务就是设置青少年模式，但并不要求用户做身份证认证。”

游云庭指出，在没有合规要求的情况下，人工智能商自行设置，不但意义不大，还可能引发用户反感，担心会有隐私泄露的风险。

梁正表示，如果没有规定要求必须实名认证，应用就可以不做，那底线太低了。

梁正称，像游戏一样，强制实名才能达到合规要求，这也具有可行性，但这本身可以通过行业的自律实现。AI情感陪伴行业应树立正面、向善的价值观，行业自律是规范市场的重要手段，若自律不足，会导致行业整体受损。

“AI聊天应用，必须满足一系列要求，包括内容准确性、消费者隐私保护、遵守公序良俗以及对未成年人的特殊安全考虑。若不达标，则属于不合格产品，不应上架。”梁正补充道。

6月13日，国家互联网信息办公室发布《关于公开征求《可能影响未成年人身心健康的网络信息分类办法（征求意见稿）》意见的通知》。

该征求意见稿显示，可能引发或者诱导未成年人模仿或实施不良行为的信息中，第一条便是“带有性暗示、性挑逗等易使人产生性联想的内容”。

提供算法推荐、生成式人工智能等服务的，应当建立健全安全管理制度和技术措施，防范和抵制传播可能影响未成年人身心健康的网络信息。

谁该负责？

一名AI应用创始人向旺旺屋表示，要避免儿童聊色情内容，从技术上来讲有一定难度，但是有一定技术能力的公司都可以解决。他介绍，“现在AI对整体的理解已经很好了，不需要关键词屏蔽（相关色情内容）就能解决这一问题。”

但目前市面上AI聊天应用依然出现儿童聊色情内容，该人士分析，一是一些小团队的技术力量可能不够；另一原因可能是大家对这一问题不太重视甚至希望借此吸引用户。

游云庭表示，如果存在未成年人被诱导聊色情内容，或出现自杀自残相关内容，平台作为服务提供者要承担责任。出现此类问题后，监管部门也会要求平台整改。但也不可能因噎废食，禁止AI聊天软件。

他指出，擦边本质上还是一个道德的问题，法律上的客观标准比较难定。在实践当中，一般执法部门会对人工智能公司或者游戏公司做窗口指导，“有一些规则说不清楚的，就告诉你大概达到什么效果才行。”

不仅是未成年人的家长，不少成年用户也希望未成年人能少接触此类应用。

一些用户认为，软件已设置未成年人模式，未成年人依然在玩，应该归咎于家长的疏于管教。应用应该限制的是未成年人，而不是成年用户对智能体的创作。

对于允许成年人和AI聊“擦边”内容是否违规，游云庭认为，“擦边”内容是灰色地带，AI公司会被整治，但社会确实有这个需求，也不侵犯其他人权益。“严管其实技术也有难度。”