心理健康领域亟需明确AI监管，专家发声呼吁

人工智能（AI）可以进行对话、表达情感并模拟人类互动。公开可用的大型语言模型（LLMs）——通常用作个性化聊天机器人或AI角色——越来越多地参与心理健康相关的互动。虽然这些工具提供了新的可能性，但它们也带来了重大风险，尤其是对脆弱用户来说。

因此，德累斯顿工业大学的埃尔斯·克伦纳·弗雷辛斯数字健康中心（EKFZ）和卡尔·古斯塔夫·卡鲁斯大学医院的研究人员发表了两篇文章，呼吁加强监管监督。

他们的评论文章“没有法律保护的人工智能角色很危险”，发表在《自然人类行为》期刊上，概述了对AI角色明确规定的迫切需求。第二篇评论发表在《npj数字医学》上，强调了聊天机器人在没有医学批准的情况下提供类似治疗指导的危险，并主张将其作为医疗设备进行监管。

像ChatGPT或Gemini这样的通用的大型语言模型（LLMs）并不是专门为特定的AI角色或治疗工具设计的。不过，简单的提示或特定设置就能把它们变成高度个性化的人类聊天机器人。与AI角色的互动可能对年轻人和心理健康挑战者产生负面影响。用户可能会与这些系统形成强烈的情感纽带，但AI角色在欧盟和美国仍然基本上没有监管。重要的是，它们与临床治疗聊天机器人是不同的，后者是明确开发、测试和批准用于医疗用途的。

“人工智能角色目前正在现有产品安全法规的漏洞中钻空子，”马斯特里赫特大学私人法助理教授、该出版物的共同作者Mindy Nunez Duffourc解释道。“它们通常不被归类为产品，因此逃避了安全检查。即使在新规定为产品的情况下，明确的标准和有效的监督仍然缺乏。”

背景：数字互动，真实责任

最近的国际报告将与人工智能聊天机器人密切互动与心理健康危机联系在一起。研究人员认为，模仿人类行为的系统必须满足适当的安全要求，并在定义的法律框架内运作。然而，目前，人工智能角色在进入市场之前在很大程度上逃避了监管监督。

在第二篇评论中，题为“如果一个治疗机器人走起来像鸭子，讲起来像鸭子，那么它就是一只受医学监管的鸭子”，团队进一步概述了与大型语言模型（LLMs）进行不受监管的心理健康互动的风险。作者们展示了一些人工智能聊天机器人提供类似治疗的建议，甚至冒充持证医生，而没有任何监管批准。因此，研究人员认为，提供类似治疗功能的LLMs应被视为医疗设备进行监管，具备明确的安全标准、透明的系统行为和持续的监测。

“人工智能角色已经成为许多人日常生活的一部分。这些聊天机器人常常提供医生或治疗师般的建议。我们必须确保人工智能软件的安全性。它应该支持和帮助，而不是造成伤害。为此，我们需要明确的技术、法律和伦理规范，”德累斯顿工业大学数字健康EKFZ的医疗设备监管科学教授Stephen Gilbert说道。

提议的解决方案：‘守护天使AI’作为保护措施

研究团队强调，欧洲AI法案的透明度要求——仅仅告知用户他们正在与AI互动——并不能有效保护弱势群体。他们呼吁制定可执行的安全和监控标准，并提供自愿指南，帮助开发者实施安全设计。

作为解决方案，他们提议将未来具有持久聊天记忆的AI应用与所谓的‘守护天使’或‘好撒玛利亚人AI’相连接——这是一个独立的、支持性的AI实例，旨在保护用户并在必要时进行干预。这种AI代理能够在早期阶段识别潜在风险并采取预防措施，比如提醒用户相关支持资源或发出关于危险对话模式的警告。

与AI安全互动的建议

除了实施这些保护措施，研究人员还建议进行严格的年龄验证、针对不同年龄的保护措施，以及在市场准入前进行强制风险评估。

德累斯顿大学医院卡尔·古斯塔夫·卡鲁斯的精神科医生法尔克·杰里克·费尔赫斯表示：‘作为临床医生，我们看到语言如何影响人类的体验和心理健康。AI角色使用相同的语言来模拟信任和联系——这使得监管变得非常重要。我们需要确保这些技术是安全的，能够保护用户的心理健康，而不是让他们面临风险。’

“我们提出的保护措施对于确保通用人工智能能够安全、有效和有益地使用至关重要，”医学设备监管科学团队的研究员马克斯·奥斯特曼（Max Ostermann）表示，他是吉尔伯特教授团队的成员，也是 npj Digital Medicine 评论的第一作者。

更多信息： Mindy Nunez Duffourc 等，人工智能角色在没有法律保护措施的情况下是危险的，Nature Human Behaviour（2025）。 DOI: 10.1038/s41562-025-02375-3

马克斯·奥斯特曼等，如果一个治疗机器人看起来像鸭子，听起来像鸭子，那它就是一个受医疗监管的‘鸭子’，npj Digital Medicine（2025）。 DOI: 10.1038/s41746-025-02175-z