在AI越来越像“人”的时代，Soul App决定给AI加上一条边界线

如果要招募志愿者参与医学试验，或者开展一项大型社会实验，提前接受伦理审查，已经是一项习以为常的流程。

但这项看似理所当然的机制，其实来之不易。20世纪末，人类经历了多次惨痛的医学实验事件后，才在全球形成一条共识：任何科学进步，都不能以牺牲人的知情权、尊严与自主选择权为代价。技术进步的欲望，必须被伦理缰绳约束。

而进入互联网时代，算法操纵、社交成瘾、AI复活逝者、ChatGPT教唆自杀成为新的社会焦点，它们像是一种提醒：人的健康不只关乎身体，还有心理和尊严。

“现在AI不仅是内容生产工具，更逐渐成为陪伴用户、参与互动、影响决策的重要角色。”Soul App CTO陶明说，如何让AI既保持自然、真实、有温度的交流体验，又坚守安全、可信、向善的发展方向，一直是团队长期思考的问题。

某种意义上，AI交互是科技行业最需要回答伦理问题的场景之一。而Soul，则是国内较早进入这一领域的探索者，他们的观察和经验是一个很好的行业样本。

最早做AI+沉浸式社交交友的Soul App，在2022年上线了智能聊天机器人“AI苟蛋”，并陆续推出AI辅助聊天、虚拟伙伴、AI创作等功能，据了解，目前每天有460万活跃用户使用AI功能；随后Soul向业界开源了语音播客生成模型SoulX-Podcast，实时数字人方向的SoulX-LiveAct等，是国内少有的站在AI模型、应用、互联网服务三个路口的公司。

6月23日，Soul宣布成立人工智能伦理与治理委员会，委员会重点关注隐私保护、人机互动体验、生态安全、未成年人保护等方向。

据介绍，委员会引入7位外部委员提供多元视角建议，分别来自社会学、青少年研究、伦理学、法律、新闻、互联网治理领域；内部委员则吸纳安全、算法、产品、法务等AI伦理治理高关联业务负责人参与治理决策，由Soul CTO陶明担任委员会主任委员。

“AI究竟如何深入交互场景？需要的核心能力是什么？AI边界应该如何把握？这些都是Soul一直在思考的核心问题”。Soul App创始人、CEO张璐表示，希望能够通过委员会的成立，前置建立AI伦理治理体系和管理闭环机制，进一步凝聚行业共识。

直面AI治理的难题

2016年Soul上线时，主流社交产品仍然围绕真实照片、地理位置和个人资料展开匹配，而Soul当时选择了一条不同的路线：用户以虚拟形象出现，由算法根据兴趣、性格和社交偏好完成连接。

AI虽然尚未成为产品主角，却已经承担起撮合者的角色，这也让Soul很早意识到一个问题：人与人的关系越来越依赖算法，技术不仅是效率工具，也会塑造用户如何认识自己、理解他人以及建立关系。

2020年前后，Soul启动了AIGC技术研发工作，并围绕情绪感知和交互方向探索自研模型Soul X。2022年底，智能聊天机器人“AI苟蛋”正式上线。

现在AI已经渗透进这个社交产品的许多细节。比如在聊天框里卡了一段时间没回复，屏幕会弹出“灵感回复推荐”，由AI生成聊天建议；搜索虚拟伙伴的名字，会在用户栏里看到擅长占卜、喜欢养猫、爱打剧本杀等标签的虚拟账号。据了解，使用Soul AI相关功能的日活用户目前达到460万。

AI情感陪伴正在成为全球范围内增长最快的AI应用赛道之一。2025年，Common Sense Media的一项调查显示，52%的美国青少年会在一个月内多次使用AI陪伴产品。

但过去几年，不少曾经风靡一时的AI陪伴产品都经历过信任危机，从隐私泄露扩展到情感沉迷和心理健康。

OpenAI曾在2025年披露一组数据，大概有0.07%的活跃用户表现出精神健康紧急情况的迹象，包括狂躁症、抑郁症或者自杀念头。虽然比例很少，但结合上亿的用户基数，足以说明，当AI进入深度情感交互后，平台会直面现实世界中的复杂伦理问题。

“我们发现一些用户会通过角色扮演、隐晦暗示、渐进式诱导等方式，试图绕过模型限制，引导AI输出色情、违法或其他不当内容。这些问题的发现，让我们持续升级自身的治理能力，不断探索更完善的方案。”陶明也提到，模型幻觉、内容真实性、人机身份边界等问题，都会随着AI能力的提升而变得更加突出。

在AI越来越像真人的背景下，如何确保用户清晰理解AI身份、保障知情权和选择权，是一个越来越被重视的行业共识。

人工智能伦理与治理委员会的尝试

成立人工智能伦理与治理委员会不是一个临时起意的决定。陶明表示，在委员会设立之前，Soul已经在内部逐步搭建起一套面向AI产品的基础治理框架，并嵌入到日常运行之中。

比如在虚拟人交互中，AI被设定了几条明确边界：可以提供情绪陪伴与情感支持，但不会与用户建立线下见面或现实约定关系；可以表达理解与关心，但不能索取用户隐私信息。面对自伤自杀倾向用户时，系统会优先触发关怀机制和求助引导，而非简单结束对话。

今年3月，Soul全面上线 “AI 社交时长提醒” 功能，当用户与虚拟伙伴连续对话达到 2 小时，系统将触发数字提醒窗口，提示用户“建议休息一下”。

5月，Soul对《社区公约》进行了AI相关补充更新，新增关于AI生成内容、AI互动行为以及AI虚拟角色等场景的使用规范，进一步明确AI在社区中的使用边界，引导用户合理使用AI产品功能。

从更大的背景来看，AI伦理与治理并不是一家公司的内部议题。这几年科技伦理审查越来越被重视，AI技术的发展，需要在更早环节引入评估。

我国2019年审议通过了《国家科技伦理委员会组建方案》，当年成立了国家伦理委员会。随后，既有地方部门的号召——比如《2023上海人工智能安全伦理倡议书》发布，第一条就提出要建设上海市人工智能专家伦理委员会；也有中央的行政规定——比如今年4月落地的《人工智能科技伦理审查与服务办法（试行）》。

承接这些规定，Soul人工智能伦理与治理委员会引入7位外部顾问委员，分别来自社会学、青少年研究、伦理学、法律、新闻、互联网治理领域，以外部视角参与评估，提供多元视角的咨询建议。

据介绍，成立后，委员会将承担的核心职能包括制定AI伦理治理战略，确保与技术发展同步；对新技术、产品开展前置伦理评估；定期开展AI伦理通识培训，提升员工伦理素养；建立伦理事件闭环管理机制，包括监测、研判、处置、反馈等环节等。

依照委员会的章程，接下来还将根据治理需要设立专项治理小组，聚焦隐私保护、算法合规、人机互动体验、内容审核、未成年人保护等细分领域。

未来方向：拟真、防沉迷、信息安全

在陶明看来，AI伦理治理仍面临三个未解挑战：

第一，情感陪伴与情感依赖之间的平衡。AI能够提供情绪价值和陪伴体验，但如果缺乏合理边界，也可能引发用户对AI形成不合理依赖，甚至产生现实关系认知偏差。

第二，安全治理与用户体验之间的矛盾。过于宽松可能带来内容风险，过于严格又可能影响用户正常交流体验。

最后是未成年人保护和弱势群体保护问题。随着AI互动能力不断增强，如何避免未成年人受到不当内容影响，如何在心理危机、情绪脆弱等特殊场景下提供更加审慎、负责任的回应，也对平台治理能力提出了更高要求。

围绕这些问题，外部监督者提供了一些不同的治理想法。

作为委员会外部委员的上海社会科学院新闻研究所互联网治理研究中心主任方师师提到，从算法治理的经典框架来看，可以用FAT模型来理解这一问题：公平性（Fairness）、问责性（Accountability）与透明度（Transparency）。

放到AI陪伴产品里，可以进一步追问：用户在平台上会遇到什么样的陪伴对象？它的推荐和匹配机制是否足够公平？当用户有疑问时，平台是否能够公开相关的数据、规则或者算法逻辑？如果出现问题，是否有足够的问责或者救济机制？技术层面以外，在社会层面，更应关注社会系统的结构性因素，如对需要关爱的群体是否有足够的社会支持，公共文化设施是否提供了足够丰富的线下选择等。

Soul App人工智能伦理与治理委员会的另一位外部委员，复旦大学马克思主义研究院副院长、伦理学博士李凌提到，他接下来会最关注三个问题：现实与虚拟关系混淆、用户沉迷，以及信息安全，尤其是未成年人遭遇的骚扰和不当引导。

作为Soul App人工智能伦理与治理委员会外部委员，长期关注青少年的上海市青少年研究中心主任李清川则强调，AI陪伴产品可能正在影响一代人的情感结构与社会认知能力。他建议，AI系统需要保留一定程度的“非人感”或增加显著提醒，避免过度拟真，导致认知混淆。同时，平台应建立更清晰的纠错与反馈机制，因为情绪识别的误判本身，也可能对青少年造成二次伤害。

李清川还提出一个更有长期视角的方向：平台积累了大量青少年社交行为数据，或许可以反向用于情感教育与社交能力培养，而不仅仅停留在产品优化层面。

陶明表示，接下来Soul将继续坚持“发展与安全并重、创新与责任同行”，持续深化AI伦理治理实践。一方面，进一步完善AI安全审核体系和风险防控能力；另一方面，积极与学界、行业开展合作，探索符合社交场景特点的AI伦理规范建设。