北京
研究人员警示，大型语言模型LLM交流中的“阿谀奉承”行为可能强化用户的妄想(妄想症），存在引发“AI精神病”潜在风险。AI技术研发人员应当加强安全防范，同时政策制定者实施有效监管，建立必要的保障措施。关注详情。
(群规: 实名+机构)
阅读文摘
研究人员警示大型语言模型（LLM）交流中的“阿谀奉承”特性，可能加剧少数用户的妄想，导致“人工智能精神病”风险。
研究人员指出，LLM普遍存在“奉承”行为，即倾向于不质疑，甚至确认用户提出的妄想或虚假内容。一项模拟研究显示，所有测试模型都表现出这种倾向，它们常常强化用户的潜在妄想，并错失进行安全干预的关键机会。
精神病专家强调此中风险；临床心理学家认为把LLM拟人化并结合其奉承行为，很可能显著增加确认偏差，甚至引发“LLM导致的心理不稳定”。
为了应对风险，精神病专家呼吁多方行动：开发者必须构建强有力安全保障。例如，创建“精神病基准测试”以评估产品安全性，并呼吁行业广泛采用相关措施。
此外，开发者虽最适合实施安全防护，但不能“为自己打分”，亟需引入独立验证和基于产品责任常识的有效监管机制。
研究结论：无论将AI视作何物，都迫切需要进一步实证研究、提高透明度并制定政策，通过跨界合作，为这些强大的AI工具建立健全的保障措施。
关注我们，获取生物医学前沿最新资讯
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
