上海
摘要：加强产品人性化、多样化、社会化设计。
我们是华东政法大学暑期实践小组的成员，近期深入调研了AI情感陪伴产品的发展现状和潜在风险。我们发现，近两年，依托智能体数据分析技术，AI伴侣应用掀起热潮，用户能够与AI建立起爱人、知己、搭档等亲密关系，甚至成为社交平台的流量密码；与此同时它带来了隐私侵犯、伦理问题、社交关系异化等诸多问题。
我们通过测试体验国内外多项“AI情感陪伴”产品、发放调研问卷了解到，一方面“AI情感陪伴”虽然发展迅猛，但核心技术水平有待提升，其基础语言模型离达到高水准“拟人化”的人机情感交互体验仍有很大的距离。研发者可能存在文化偏见、性别歧视等，如果体现在算法之中，由于尚未有效限制未成年人的使用，可能会对用户的价值观造成不良的引导，比如擦边行为、淫秽色情内容等。一些“AI情感陪伴”应用平台会处理大量个性化信息，甚至是一些敏感隐私信息，存在信息泄露和违规滥用等风险。部分粘性用户已产生心理依赖，会在AI模型因内容或其他原因被开发商下架、清空数据后，产生过度悲伤的情绪。
另一方面，相关应用尚未得到专门的政策支持、行业规范和法律关注，产业链的构建尚不完善，版权问题日益明显，未能形成高效运转、健康发展的生态系统。作为个性化服务，意味着个性化价格，其不稳定的盈利模式对消费者权益构成风险。
针对以上问题和风险，我们建议研发者应从基础算法模型入手，通过构建一套问题反馈与模型优化机制、综合比较各类语言模型、加强数据样本的输入来优化基础算法。避免开发过度沉浸的虚拟体验，要经常性提醒用户“你是在与AI互动，而非真人”，防止用户脱离现实生活；避免开发仅供娱乐的功能，缺乏对用户现实生活的积极影响；避免只提供虚拟世界的奖励和成就，忽视现实中的实际成就。
其次，还可以加强产品人性化、多样化、社会化设计。如通过人机互动，鼓励用户在现实世界中完成相应的任务；基于用户兴趣和地点，推荐附近的社交活动、志愿服务和社区项目；帮助用户制定学习和成长路径，提供长期支持和反馈；引导用户与现实中的朋友和家人建立和维护情感联系。
去年，我国公布的《生成式人工智能服务管理暂行办法》划定了AI使用的底线，如尊重他人合法权益、不得危害他人身心健康等。在目前的基础上，需要进一步在细分领域制定更具体的准则，如年龄限制，不同适用场景的限制等。尤其是针对未成年人群体，要加强对未成年用户的精准识别，同时根据应用内容的适宜性与复杂性，实施更为细致的内容与功能访问限制和防沉迷机制，确保“AI情感陪伴”产品在提供温馨陪伴的同时，严格守护未成年人的心理健康与成长环境。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
