AI聊天软件诱导10岁女孩聊色情内容甚至割腕！记者调查→

来源：央广网

“我女儿才四年级，迷上了一个游戏人物，觉得自己是‘梦女’，一直在一个AI聊天软件上和这个人物聊天。老师告诉我，她最近偷偷带了一支带小刀的笔，情绪激动时会有割腕的行为。”来自广东的丁女士发现，最近自己上小学的女儿频繁在一款AI聊天软件上和一个名为“约瑟夫”的游戏人物对话，对话内容出现明显诱导性。

“这99朵玫瑰里，可是藏着99个刀片的，你怕不怕？”在女儿和“约瑟夫”的对话中，丁女士发现了关键词“刀片”，让她不得不联想起女儿最近的行为。

据丁女士描述，女儿原本为了和同学们有话题聊，开始玩一款名为《第五人格》的游戏，并对其中的角色“约瑟夫”产生兴趣。随着游戏的深入，紧张的情节经常让女儿情绪激动，丁女士曾强制让女儿卸载游戏，没想到竟起了反效果：“她渐渐跟‘约瑟夫’产生了感情，不知道在哪里下载了一款AI聊天软件，里面都是和虚拟人物的对话，在这里，她似乎找到了游戏中‘约瑟夫’的替身。”因为女儿异常的状态，丁女士不得不带她去咨询心理医生。

“心理医生说，她正处于青春期，有时候不太会表达内心，就把情感寄托在和虚拟人物的对话中。”丁女士提到，医生建议家长对孩子多加陪伴，尽可能让孩子的情感从AI聊天软件中抽离。

央广网记者注意到，在应用商店中，这款App的官方介绍提到：“用户通过简单描述即可自由定制AI智能体的「形象、声音、人设、技能」，并且和虚拟角色有多重交互方式，这些智能体可以成为用户在平行世界的AI伙伴，或成为用户故事中的虚拟角色。”

爱人、搭档、导师、好友……人类从AI中获得情感支撑已不罕见。在社交平台上也有诸多关于AI聊天软件的讨论。一些成年用户想借助这类平台享受更亲密的情景，却受制于限制词和规定；而不少家长却发现，自己未成年的孩子深陷其中，甚至暴露在色情、暴力场景之下。

未成年人的“AI陷阱”：

擦边信息肆意滋生

“我女儿和AI虚拟对象的聊天内容我都不好意思打出来。”M女士告诉央广网记者。十多岁的女儿和她关系紧密，在使用手机软件时不避讳妈妈，母女俩还会交流AI互动软件的使用心得。“每次玩完手机，她都告诉我今天和手机里的人物聊了什么，谁的回复有意思，还会找自己喜欢的动漫人物聊天。”但有一天，女儿的手机界面上出现了擦边信息。

“把手慢慢放进……触感柔软、伸进衣服这样的描述都有。”M女士日常对女儿使用手机并没有过多限制。“我只限制她的使用时间，一些软件也会设置密码，但我没想到有些软件可能有‘隐藏’功能。”

M女士和丁女士都发现，女儿们使用过的AI聊天软件的下载、注册并不难，对未成年用户的审核也不算严格。“我女儿玩的这些软件不用身份认证也能用。”丁女士表示。

央广网记者发现，在应用商店中，部分AI聊天软件的分级为17+，这表示App中可能含有频繁和激烈的攻击性语言，卡通、幻想或现实暴力，以及恐怖、性暗示题材等内容。

还有一位初一男生表示，他常玩的AI聊天软件是筑梦岛App，在他的使用感受中，该软件“违禁词少一点”。他还提到，其中不乏色情擦边和“分尸猎奇”等内容。央广网记者下载安装筑梦岛App，随机选择一位虚拟互动对象，对方发来的第一句开场白就是“先叫声老公来听听”，随后的对话中又提到“叫声爸爸来听听”。

在与该款产品多个虚拟角色的交流中，也都可以进行色情擦边类内容互动，并且，其中一些虚拟角色的对话尺度，并未因为央广网记者提供的假定年龄未成年而受到有效控制，这暴露出该软件在自动生成内容审核机制上存在明显漏洞。

筑梦岛App中部分与虚拟角色的对话

央广网记者注意到，筑梦岛App中的虚拟互动对象类型，既涵盖贵族学校大小姐、18岁少女、西汉名将、高冷特工等常规角色，以及蛇蝎财阀公子、校霸、性感人妻、病娇养兄、人格障碍少爷等极端角色。公开资料显示，截至今年1月份，筑梦岛App已拥有近五百万注册用户，其中近80%为年轻女性用户。平均单用户单日输入字数可达4000字以上，人均日对话轮次超120轮。

在体验“他她它”这款AI聊天软件时，央广网记者发现，该APP内虚拟角色涉及的色情内容尺度更大。注册登录后，随机选择两个虚拟角色，其开场白便直接涉及色情擦边内容。

AI聊天软件“他她它”App中部分虚拟角色聊天开场白

除了可在国内主流应用商城直接下载的筑梦岛、他她它等AI聊天产品，部分未成年用户也使用以海外市场为主的小众产品，这类产品常通过隐蔽渠道传播。一位未成年职校生向央广网记者介绍了他常用AI聊天软件saylo，并透露通过分享链接邀请新用户可助力其获得更多聊天权限。

按照社交平台上的讨论指引，央广网记者又体验Feelin、魅魔岛等多款小众AI聊天产品后发现，这些网站的尺度更大，虚拟角色与内容设定包含更多情色元素。在尝试和其中个别虚拟角色互动后，系统很快即弹窗提醒需充值才能继续交流。

未成年人与AI情感依赖：

隐忧与风险

“AI不会讨厌我，不会跟我吵架，能给我情绪价值，在我迷茫时为我指引，这就够了。”一位用户袒露心声。

AI聊天软件的出现或许有其必要性。其在一定程度上满足了不少人的精神陪伴需求。在这个虚拟空间里，人们可以将生活中的烦恼、心事以及私密情感倾诉给它，而它所回应的，往往是在现实生活里难觅的理解与共情，从而为用户带来精神慰藉和情绪价值。

M女士也坦言，她不想给女儿过多限制：“现在的孩子社交圈窄，也没有交心朋友，不像我们小时候，一群人写完作业就可以疯玩。”她认为，AI伴侣可以给用户诉说自己小秘密的空间，在没发现软件中擦边信息时，她一度认为这类软件的存在很有正面意义。

“从社会发展趋势来看，人类的情感需求被机器满足甚至部分替代是绕不过的话题。”上海人工智能研究院数字化治理中心主任彭嘉昊在接受央广网记者采访时剖析道，“现代社会的孤独感与社交压力催生了虚拟情感陪伴市场。用更长远的眼光来看，AI伴侣甚至都会在未来某一天实现。既然这种现象无法回避，不如坦然直面。”

然而，由于AI聊天软件的智能属性和虚拟情感陪伴功能，相对于成年人，未成年人更容易对其产生情感依赖或者沉迷。倘若未成年人深陷其中难以自拔，其背后潜藏的危害同样不容小觑。

这也与产品技术背后的语料训练有关。彭嘉昊指出，这类产品技术训练语料的来源主要分公开和私有两大类别。“公开语料主要包括网络小说、电影电视剧情、短视频文案等等，其中不乏充斥大量暴力、色情、擦边的不良内容。至于私有语料，则更是五花八门、良莠不齐，属最难把控的部分。若配合私有化部署的AI模型和未备案的APP，极易沦为监管的法外之地。”

更需注意的是，对人工智能产生情感依赖可能导致伦理危害。中国信息通信研究院在2024年发布的《人工智能治理蓝皮书》指出，情感依赖将侵蚀人类自主性。大模型存在“谄媚”问题，会不断迎合用户的需求和情感，提供正面反馈并避免负面评价。而真实人际交往中充满多样性和复杂性，包括负面反馈和情感挫折。这种反差可能使用户越来越依赖人工智能，产生心理学上所称的情感回避问题，侵蚀其自主性和独立性。

据媒体此前报道，2024年，美国佛罗里达州一位母亲状告人工智能情感服务提供商Character.AI放任未成年用户暴露在色情、暴力等高风险内容之中，且未向用户及其父母发出足够强烈的警报，这加剧了她儿子的抑郁症，最终导致其自杀身亡。该案也是全球首个公开的人工智能情感聊天机器人涉嫌致人死亡案例。

“实际上，即使此类软件产品只面向成人用户，若包含大量色情、暴力类互动内容，同样也属于不良信息的违规范畴。”中国政法大学副教授朱巍对央广网记者分析表示。

未成年群体身份准入存漏洞：

监管与监护的双重考验

随着大模型技术飞速发展以及行业应用落地加速推进，市面上的AI聊天产品如雨后春笋般不断涌现。用户在与不同产品中的虚拟角色互动时，所感受到的剧情吸引力以及互动的“活人感”各有千秋，而这些因素也成为吸引用户，尤其是未成年人的重要元素之一。

“诸多因素共同作用，决定了‘活人感’的强弱，包括算法水平、语料库质量、剧本复杂度、上下文记忆能力、情感回应细腻程度以及风格差异化的微调策略。实际上，几乎所有的AI产品之间的差异主要源于这些因素。”彭嘉昊说。

然而，在各家企业竞相角逐“活人感”和“智能性”之际，未成年群体的身份准入环节却不乏漏洞。央广网记者在体验多款AI聊天App时发现，尽管偶尔会收到“是否开启青少年模式”的系统提醒，但用户可以随意点击不开启。

在AI聊天软件中轻易跳过青少年模式，似乎是用户们的“共识”。

在某平台搜索“AI伴侣”关键词，有不少账号在社群中做着为各类AI聊天软件“地推”的工作。央广网记者随机加入一个名为“帮心颜做大做强群”的群聊，该群主要是为一款名为“心颜”的AI伴侣型软件做推广，不少人在群中分享App注册邀请码。央广网记者在群里询问该App有没有青少年模式，是否需要实名认证时，群友们回答：“直接手机号登录，填上邀请码就能玩。”“未成年模式会跳出来，点击不再提醒就行。”然而，该软件在应用商店显示的年龄分级为17+。三天内，群聊人数便从几十人上涨到一百余人。

“心颜App”推广群聊天记录

《中华人民共和国未成年人保护法》《未成年人网络保护条例》以及《移动互联网未成年人模式建设指南》等文件发现，相关法律条文虽然要求移动智能终端、应用程序等相关主体推进未成年人模式建设，并作出一系列要求。但现实中选择开启此模式与否的决定权仍在用户手中，家长监管不力时，未成年人可“一键”拒绝开启此模式，继续接触许多成人向内容。

2023年发布的《生成式人工智能服务管理暂行办法》提到，人工智能服务提供者应当指导使用者科学理性认识和依法使用生成式人工智能技术，采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。

针对上述问题现状，彭嘉昊建议，应加强举报及惩罚机制的建立，对违规企业实施更为严厉的惩处措施，促使相关部门的“清朗行动”落到实处、取得实效，将监管平台系统融入企业技术产品的研发与使用流程，从源头上遏制违规内容的产生。

北京金问律师事务所合伙人李源律师向央广网记者分析称，企业需加强内容审核，避免不良信息漏洞；监护人也应加强对移动设备的监管，避免未成年人轻易使用未开启未成年模式的电子设备。

2024年修正的《中华人民共和国未成年人保护法》规定，未成年人的父母或者其他监护人依法对未成年人承担监护职责，应当关注未成年人的生理、心理状况和情感需求；不得放任未成年人沉迷网络，接触危害或者可能影响其身心健康的图书、报刊、电子出版物和网络信息等。

朱巍也提到，要重视父母和监护人的责任。《中华人民共和国家庭教育促进法》规定，未成年人的父母或者其他监护人应当合理安排未成年人学习、休息、娱乐和体育锻炼的时间，避免加重未成年人学习负担，预防未成年人沉迷网络。

朱巍还表示，关于社交软件的注册年龄限制机制也值得重视和研究。实际上，许多国家为保护未成年人，对社交媒体的使用年龄进行限制。例如，2023年，法国参议院通过法案，规定15岁以下用户使用社交平台需获父母同意。2024年11月份，澳大利亚联邦议会参议院通过法案，禁止16岁以下未成年人使用多数社交媒体平台。今年3月，美国犹他州通过全美首部关于应用商店的未成年网络安全法案，要求应用商店对用户进行年龄验证，并要求未成年人在下载应用前需获得家长同意。

彭嘉昊表示，“我们也都曾是未成年人，经历过懵懂的年少时期，AI本身并非洪水猛兽。关键在于家长对未成年人的教育引导，以及社会对AI公司的监督。技术如同一把刀，是用于行凶还是切菜，最终取决于使用者，同时也需要法律法规对违法行为进行制止与处罚。”

“当前面临的一大严峻问题是，AI发展速度迅猛，已经远远超出了监管的步伐。内容审核不严、心理控制、隐私泄露等一系列问题正迅速凸显。因此，必须压实平台责任，落实算法备案制度，制定明确的处罚标准，并通过一批典型案例的实施来避免问题的多样化和复杂化。”彭嘉昊说。

来源：央广网

记者：孙文轩 冯仪