当“讨好型”AI成为陪伴者：监管新规回应人与AI情感互动

来源：第一财经

　　AI的定位正向“陪伴者”转变，潜藏的安全风险不可忽视。

　　2013年，科幻电影《她》上映，讲述了男主角爱上了人工智能操作系统的故事。十多年后，这一戏剧想象已接近成为现实。

　　越来越多人不再把AI当作单纯的“工具”使用，而与之发展出类似朋友甚至恋人一般的情感关系。这也引发了关乎伦理与安全风险的思考——这种互动是否应该被规制？规制的边界又该如何确立？

　　对外经济贸易大学数字经济与法律创新研究中心主任许可近年来研究人工智能治理，他接受第一财经采访时指出，AI的定位正向“陪伴者”转变，潜藏的安全风险不可忽视，有必要进行规范，但到底该如何治理，“全世界都还没有答案”。

　　中国正通过出台监管层面的暂行办法，尝试提供一种解法。日前，《人工智能拟人化互动服务管理暂行办法》（下称《办法》）正式出台，该规定将于今年7月15日实施，这是全球第一部专门针对AI情感陪伴、虚拟伴侣等场景的国家级监管规则。

　　作为陪伴者的AI

　　“AI大模型对于人应该保持什么样的地位？”

　　2024年，许可团队发布《2024年算法与AI大模型的用户认知调研报告》，在分析收回的超过8000份调查问卷后他发现，有超过六成的调查对象认为人应该和AI建立“伙伴”或者“工具伙伴兼具”的关系。“AI已经不再只是一种工具，而是一种‘类人’的伴侣。”

　　市场已经敏锐地捕捉到这股风潮。据科技日报报道，调研机构QuestMobile的数据显示，2025年3月，AI社交互动单月人均使用多达167.9次，远超短视频和游戏。国内企业对“带有情感和情绪能力的赛道”热情高涨，百度智能云副总裁张玮去年在谈及看好的AI硬件发展机会时公开表示，“最大的想象空间就在于未来人与AI陪伴者之间关系的构建”。

　　在市场的火热期待下，也不乏对相关安全隐患的冷思考。

　　中国网络空间研究院院长王江撰文指出，拟人化互动服务通过算法精密设计出的无条件陪伴、迎合式反馈与模拟共情回应，持续给予用户情感认可和支持，为用户构建了一个稳定持续、无需承担现实责任的虚拟“完美关系”。这容易使用户尤其是在现实存在孤独感、心理脆弱的群体，产生深度情感依赖，强化其负面情绪。

　　极端的现实案例已经发生——2024年，美国一位14岁少年在与AI初创公司Character.AI的聊天机器人进行长时间对话后开枪自杀身亡，去世少年的母亲将相关企业告上法庭。在许可看来，如何治理人与AI之间的情感互动，是一个亟需解决但又十分棘手的问题。

　　困难主要来自两方面。一是针对介于人和物中间状态的人工智能，传统的法律法规还没有建立明确的监管细则，将人工智能产品侵权归责为产品责任的路径一定程度上已经过时。

　　二是传统的监管框架很少介入所谓的“情感关系”或“亲密关系”。“以往人们认知的情感关系是分布式的、私人化的，国家对于私人情感互动的干涉非常有限且审慎，更多是进行事后救济，比如在法律层面设置精神损失的赔偿规定。”

　　但对于人与AI之间的情感互动，还能遵循事后救济的治理模式吗？许可认为治理应该提前，“AI提供的服务是面向社会公众的，比如人工智能可以成为成千上万人的虚拟恋人，这与私人化的亲密关系有区别”。

　　“这更加接近目前国家对于家庭婚姻等情感关系的治理，但婚姻关系的治理有朴素意义上大众所认同的准则，比如‘忠诚’；人与AI之间的情感互动却是完全的新事物，没有任何先前的标准可循。”许可说。

　　他指出最简单的一种治理思路即“一刀切”或者“一禁了之”，但这可能导致更复杂的问题。在此背景下，中国出台《办法》，提供一种可能的解法。

　　如何平衡发展与安全

　　“国家坚持发展和安全并重、促进创新和依法治理相结合的原则，鼓励拟人化互动服务创新发展，对拟人化互动服务实行包容审慎和分类分级监管，促进拟人化互动服务向上向善。”国家网信办有关负责人在解读拟人化互动服务治理原则时如是说。

　　去年年底，国家网信办曾公开《人工智能拟人化互动服务管理暂行办法（征求意见稿）》（下称“征求意见稿”），对比《办法》与征求意见稿，不少改动都在回答“如何平衡发展与安全”这一关键问题。

　　比如，《办法》的第二章标题为“服务促进和规范”，相比征求意见稿增加“促进”的表述，释放出鼓励相关产业创新发展的信号。

　　《办法》还缩限了征求意见稿中的适用范围，明确规定适用于“利用人工智能技术，向中华人民共和国境内公众提供模拟自然人人格特征、思维模式和沟通风格的持续性的情感互动服务”，强调“持续性”；同时设置免于规制的“白名单”，明确提供智能客服、知识问答、工作助手、学习教育、科学研究等服务，不涉及持续性的情感互动的不适用。“这可以避免规制过于宽泛与失焦。”许可说。

　　但《办法》未来面临的适用难题依然突出。

　　“《办法》的设计，是基于对不同的人工智能应用场景的想象，但现在大部分的人工智能大模型实际是‘一机千面’，拟人化是它的原生能力，上一秒它可以是帮写文件的工作助手，下一秒就可以对人吹‘彩虹屁’，这种属于《办法》可规制的对象吗？”许可还提到，如何判断情感互动服务具有“持续性”，也缺少技术层面的细则。

　　在他看来，为了平衡好安全与发展，监管层面最重要的是要精确、有预期地划定治理对象的范围，但要做到这一点确有困难，他建议可以考虑延续分类分级的监管思路，基于产业实践、服务类型、应用场景进行更细分的监管。

　　此外，《办法》针对情感依赖和心理健康风险，还要求服务提供者建立用户心理保护机制，例如设置防沉迷提醒、建立心理危机干预机制等。

　　《办法》还强调保护未成年人群体，增加禁止性规则，规定“拟人化互动服务提供者不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系的服务”，要求服务提供者建立未成年人模式。

　　不难预见，新规将会对AI陪伴服务赛道产生影响。“未来的通用大语言模型可能会针对未成年人设置前置性的围栏，防止未成年人以角色扮演的方式与AI进行情感互动，比如让DeepSeek假装是自己的恋人而展开对话。”许可表示。

　　去年10月，Character.AI宣布了一项重大政策变动，以应对各方压力并加强对年轻用户的保护。该公司在一份声明中确认，将取消18岁以下用户在其平台上与人工智能进行任何开放式聊天的功能，即禁止用户与聊天机器人之间进行双向对话互动。

　　未来的法则

　　人工智能将带来一个新的世界，而这必然会挑战旧的规则。

　　许可认为，人与AI的情感互动超出了传统法律所能规制的范围，它实际上挑战了当今所有法律既有的设定，无论是挑战人与物的关系、人与人的关系，还是挑战一种人的理性行为。

　　前文提到，《办法》针对未成年人要求“拟人化互动服务提供者不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系的服务”，但争议在于，如何定义“亲密关系”？“亲密关系”可以被定义吗？这是以往法律法规和监管体系几乎不会讨论的问题。

　　许可向第一财经记者透露，中国正在积极推进制定《人工智能法》，其中肯定会涉及规制人与AI的情感交互。《办法》中一些颇具创新性的规定，是否会出现在更高位阶的法律中？许可对此表达了“审慎”的态度。

　　“在法律层面规制人与AI的情感互动，时机远未成熟。相关产业才刚兴起，大家对很多问题还没有达成共识。”许可指出，面对人工智能技术的飞速迭代，法律应该时刻保持一种“观察”的状态，对可能出现的社会风险进行实时评估，等到“合适的时机”出手规制。

　　自今年1月1日起正式施行的新《网络安全法》首次在法律层面针对人工智能治理做出规定，提出要“完善人工智能伦理规范，加强风险监测评估和安全监管，促进人工智能应用和健康发展”。在许可看来，“加强风险监测评估和安全监管”应当成为人工智能治理的基本方针。

　　而想象更遥远的未来，许可表示，“法律有可能会被技术改造，甚至被彻底改写”。“法律不能总是被动地回应，自身也应主动作出改变，不仅仅是改变法律条文，更重要的是革新法律治理思路，甚至法律的表现形式。”