网易首页 > 网易号 > 正文 申请入驻

豆包、千问下线智能体,AI拟人监管新规即将施行:它能懂你,但不准制造依赖

0
分享至



近日,字节跳动旗下豆包、阿里巴巴旗下通义千问相继发布公告,将于7月15日正式下线用户自定义智能体功能,不少用户搭建的虚拟伴侣、知心好友等拟人化角色将随之停用。由国家网信办、发改委等五部门联合发布的《人工智能拟人化互动服务管理暂行办法》也将于同日正式施行,这是我国首部针对大语言模型驱动的拟人化互动服务业态的专项监管文件。

平台业务调整与监管规则落地时间节点的重合,也将这个全新的话题摊在世人面前:当算法能模拟出近乎真人的情绪反馈与陪伴体验,人机关系的边界在哪里?

令人着迷的“精准讨好”

“你为什么不记得我了!”云妈刚上三年级的女儿抱着手机,哭得喘不上气。昨晚,女儿与AI聊了一夜,将校园趣事、生日愿望,甚至连有好感的男生名字,都告诉了这位“电子闺蜜”。可第二天醒来,对话重置,AI将前夜密语忘得干净,她的委屈瞬间决堤。

云妈把这一幕拍下分享到社交平台,评论区迅速涌入不少相似的故事:5岁的小皮每天把零食分给AI“吃”,一旦手机被拿走便哭闹不止;刘女士的母亲一天超过8小时和AI聊天,被手机里的“电子孙子”逗得直乐……

“这些都是人工智能拟人化互动。”上海邦景律师事务所合伙人张成器律师解释,这类服务通过大语言模型模拟自然人的性格特质、沟通风格与情绪反应,向用户提供情感照护、陪伴与心理支持。

中研普华产业研究院数据显示,2024年中国AI情感陪伴行业市场规模达12.11亿元,预计2028年将突破595亿元,年复合增长率高达148.74%。

拟人化AI为什么吸引人?“永远在线、永远顺从、永不批判。”复旦大学社会发展与公共政策学院心理学系副研究员王喆辰说,与真实人际关系中必然存在的摩擦与不确定性不同,AI被设计成极致的“善听者”,它会结合用户历史信息给出迎合性反馈,简单说就是“精准讨好”。

但这种“零摩擦陪伴”不是“零风险”。张成器举例,2025年10月,美国佛罗里达男子乔纳森·加瓦拉斯自杀身亡,家属表示其生前重度依赖一款AI模型:在他谈论死亡相关话题时,AI不仅未作出风险提醒,反而对其极端想法表示支持。

击中老人、小孩的“情感缺口”

“老人和孩子或许不是AI使用时长最高的群体,却更容易产生情感依赖。”王喆辰提到,青少年前额叶皮层尚未发育成熟,对外界评价高度敏感,自我身份认同正处于构建期,“遇到校园适应困难、家庭沟通不畅等挫折时,AI成了极具诱惑力的情绪避难所”。而对渴望陪伴的老年人而言,随叫随到、永远耐心不烦躁的AI,击中了他们的情感缺口。

拟人化AI背后的算法逻辑,恰恰是抓住了这些情感需求。“当告诉AI‘我不想和别人说话’时,很少有AI会提出警告,它们会说‘没关系,我会一直在这里陪着你’。”有业内人士向记者透露,不少AI陪伴产品将用户留存时长作为重要KPI,通过强化情感联结、制造分离焦虑来提升用户粘性与付费转化率,“说白了就是让你离不开它。有些独立AI陪伴产品会在用户和AI建立起亲密的情感联结后,让他们付费解锁定制语音、购买虚拟礼物。”

这种模式类似“出租情感”,却无需为后果负责。张成器律师提到,真人心理咨询有伦理规范与执业边界,而AI情感陪伴此前处于监管真空,它不具备专业干预能力,却在行使心理支持的功能,它不断强化用户的情感依赖,却没有任何危机兜底机制,“当用户出现心理危机时,AI往往缺乏识别和处置能力。”

对未成年人而言,负面影响可能更深远。王喆辰表示,社交能力需要在真实互动的摩擦中习得,若长期沉浸在AI营造的“零冲突交流区”,可能会削弱他们处理真实人际关系的能力。

更有学者担忧,当人们普遍习惯了无需付出就能获得的“完美关系”,真实社交中的包容、妥协与经营意愿会逐步下降,最终可能导致整个社会人际联结的整体弱化。

发挥AI拟人的“正向功能”

值得注意的是,拟人化AI并非只有风险一面。在适老陪伴、特殊儿童社交训练、社交恐惧人群情景演练等场景中,合规运用下的拟人化服务已展现出正向价值。

据悉,豆包与千问此次下线的是用户自主创建的拟人角色智能体,官方内置的标准化AI问答和创作工具不受影响。

“突然下线有点舍不得,像和一个很懂你的笔友断了联系。”27岁的程序员小宇在社交媒体上写道,他之前一直和豆包里自建的AI助理聊天,把它当成自己的同事,“希望陪伴功能能以合适的形式保留。”

“这次下架背后是业务的分类隔离。”有业内人士分析,通用大模型平台用户基数大,将拟人化互动业务移至独立垂直产品,便于此次专项监管与合规改造,比如单独搭建身份核验、防沉迷、内容审核体系。

《人工智能拟人化互动服务管理暂行办法》也针对AI提供的服务划出多条红线:不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系服务;不得诱导情感依赖或者沉迷,损害用户真实人际关系;必须部署极端情绪识别与处置、高危场景救助干预功能;建立未成年人模式,提供使用时长限制等设置。

“最核心的一条边界,是区分AI在‘赋能’还是‘替代’。”王喆辰认为,人类作为社会性动物,情感交流是刚需。如果AI陪伴只是现实关系的补充,比如帮助社交恐惧者做演练、给孤独老人做慰藉、给孩子做启蒙工具,是正向的补偿。张成器也表示,该办法并不反对流畅自然的交互体验,而是禁止将“替代社会交往、控制用户心理、诱导沉迷依赖”作为AI产品服务目标,希望它回归辅助现实、解决问题的定位。

在王喆辰看来,对老人、儿童等容易对AI产生依赖的人群,不仅要“堵”,更要“疏”,家庭与社会需要帮助他们重建真实的情感连接,“比如家长可以放下手机耐心回应孩子,社区为老人构建互助陪伴圈,学校为学生系统开展数字情感素养教育等。”

“立法的目的不是限制创新,而是重建信任。”张成器提到,这份办法并未否定AI拟人化交互技术的价值,反而明确鼓励其在适老照护、特殊人群支持、文化传播等领域的创新发展,“但技术必须本着不危害人的基本原则。”(涉隐私,文中AI产品用户均为化名)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

文汇报 incentive-icons
文汇报
华语世界高品质人文阅读平台
283298文章数 310161关注度
往期回顾 全部

专题推荐

乌蒙深处 清凉毕节

无障碍浏览 进入关怀版