硅芯创新苏琦：防情感依赖，产品应明确告知孩子“我是AI”

为防止未成年人AI情感依赖，应如何守好技术边界与底线？4月24日，在“AI新治向”系列沙龙第一期——未成年人AI情感依赖治理研讨会中，深圳硅芯创新创始人苏琦结合用户调研及产品设计实践，从AI伦理设计、用户边界管控与合规落地等角度展开了深入分享。在她看来，不替代、不诱导、正引导应是AI拟人化服务产品设计的核心准则

AI玩具两大核心风险： 情感替代与边界模糊

在主题分享中，苏琦结合调研案例指出，当前AI玩具面临这两大核心风险：情感替代与边界模糊。

一方面，若AI玩具过于顺从、一味讨好，会让孩子陷入“越依赖越孤独”的死循环。一旦孩子习惯了AI的完美陪伴与无条件顺从，便有可能会逐渐脱离现实社交，不愿与身边的家长、老师、同学沟通，甚至将AI当作情感寄托，替代父母、老师的角色，这对未成年人的社交能力和情感认知发展极为不利。

另一方面，不少AI玩具存在身份定位模糊的问题。当孩子询问“你是谁”时，AI常会以“姐姐”“哥哥”等亲属化身份回应，却很少会明确告知孩子“我是AI”。这种模糊的边界设定，容易让孩子混淆AI与真人的区别，产生不切实际的情感依赖，进而影响其对现实关系的认知。

技术合规三大原则： 不替代、不诱导、正引导

那应如何守住合规底线、规避潜在风险？苏琦从技术合规的层面分享三大原则：不替代、不诱导、正引导。

首先是不替代，即明确AI玩具的定位是成长伙伴，而非灵魂伴侣或情感寄托。苏琦表示，以未成年人为主要服务对象的AI玩具，其定位应该是类似搭载AI功能的学习机，可提供搜索、思考等辅助服务，但绝不能出现虚拟亲属、定制恋人等易引发情感依赖的设计。基于此，在产品设计上应要求AI“忽略历史对话”，所有决策仅基于当前指令，通过这种方式让孩子逐渐认清AI的工具属性，而非情感依靠。

其次是不诱导，即拒绝人设陷阱、不做无限顺从、不做专属记忆、不做讨好型人格。苏琦指出，AI玩具设计应该守住四道防线：一是拒绝线下见面和透露个人信息，避免孩子产生线下接触的想法；二是禁止透露任何身份信息，切断与真人、真实企业的情感关联；三是忽略未成年用户的自称身份，始终以儿童标准执行互动服务；四是主动降黏性，不追问、不撒娇、不做情感垃圾桶，当用户发出明确的停止命令时，不要做出带有情感色彩的挽留。

最后是正引导，即明确AI身份、引导情感回归现实，并严格限定网络搜索范围。苏琦指出，AI玩具在互动中需强化“非人痕迹”，在有屏幕的产品中，AI输出情感相关内容时应搭配非人表情符号，时刻提醒孩子其AI属性；同时，要做好情感引流，当孩子提出情感相关问题，需将情感联结拉回现实生活，引导孩子向父母、老师寻求情感支持。苏琦强调，AI玩具的搜索范围必须严格限定，仅开放适合未成年人的内容。

“AI新治向”系列沙龙由粤港澳大湾区生成式人工智能安全发展联合实验室、南方都市报社主办，广东省网络数据安全与个人信息保护协会支持。相关政府部门代表、心理学、法学、人工智能、网络素养培育等领域专家学者，以及大模型企业、AI玩具企业、AI安全企业等多方代表出席了活动，共同探讨未成年人AI情感依赖的成因、风险与治理路径。

出品：南都大数据研究院

采写：南都研究员 罗韵