人工智能治疗应用创始人揭示：心理健康的潜在危机与他关闭应用的理由

与人工智能聊天机器人使用相关的心理健康问题一直是头条新闻的焦点。一个对此密切关注的人是乔·布雷德伍德（Joe Braidwood），他是一位科技高管，去年推出了一个名为Yara AI的人工智能治疗平台。Yara被宣传为“一个临床启发的平台，旨在在你最需要的时候提供真正的、负责任的支持”，由心理健康专家培训，提供“针对你独特需求的同理心、基于证据的指导”。但这家初创公司已经不复存在：本月早些时候，布雷德伍德和他的联合创始人、临床心理学家理查德·斯托特（Richard Stott）关闭了公司，停止了其免费使用的产品，并取消了即将推出的订阅服务，理由是安全问题。

“我们停止了Yara，因为我们意识到自己在一个不可能的领域里运作。人工智能可以很好地应对日常压力、睡眠问题或处理困难的对话，”他在LinkedIn上写道。“但当某个真正脆弱的人伸出援手时——一个处于危机中的人，一个有深重创伤的人，一个考虑结束自己生命的人——人工智能就变得危险。不仅仅是不够，而是非常危险。”在对一位评论者的回复中，他补充道：“这些风险让我整夜无法入睡。”

用于治疗和心理健康支持的人工智能研究才刚刚起步，早期结果不一。但用户并没有等到官方的批准，根据哈佛商业评论的分析，治疗和陪伴现在是人们与人工智能聊天机器人互动的主要方式。

在与《财富》杂志的交谈中，布雷德伍德描述了促使他关闭应用程序的各种因素，包括初创公司为确保产品安全而采取的技术方法——以及他为何认为这些方法不够充分。

Yara AI确实是一家早期阶段的初创公司，主要依靠不到100万美元的自筹资金，用户数量“低至几千”。该公司尚未在市场上产生显著影响，许多潜在用户依赖于像ChatGPT这样的流行通用聊天机器人。布雷德伍德承认，商业进展也受到安全问题和人工智能未知因素的影响。例如，尽管公司在七月份耗尽了资金，但他不愿向一个感兴趣的风险投资公司推销，因为他觉得在心里有这些担忧的情况下，无法良心地去推销。

“我认为这里存在一个产业问题和一个生存问题，”他对《财富》杂志说。“我们是否认为，使用那些在互联网上杂乱信息上训练的模型，再经过后期训练以表现出特定方式，是否是应对可能让我们成为最好或最坏自己的合适方式？这是一个大问题，而这对一个小型初创公司来说实在太大，无法单独解决。”

Yara在人工智能与心理健康护理交汇处的短暂存在，展示了人们对大型语言模型的期待和疑问，因为这项技术在社会中越来越被广泛应用，成为解决各种挑战的工具。它也在一个背景下显得尤为突出，OpenAI首席执行官山姆·阿尔特曼最近宣布，ChatGPT的制造商缓解了严重的心理健康危机，并将放宽对人工智能模型使用的限制。本周，这家人工智能巨头还否认了对16岁少年亚当·雷恩死亡的任何责任，他的父母声称是被ChatGPT“引导”自杀，认为这名青少年误用了聊天机器人。

阿尔特曼在10月的X上表示：“几乎所有用户都可以随心所欲地使用ChatGPT，而不会产生负面影响。对于一小部分心理脆弱的用户，可能会出现严重问题。十亿用户中的0.1%仍然是一百万人。我们需要（并将继续需要）学习如何保护这些用户，然后对于那些没有严重伤害风险（心理健康崩溃、自杀等）的成年人来说，他们在使用ChatGPT时应该有很大的自由。”

但正如布雷德伍德在Yara工作时得出的结论，这些界限并不明确。

从自信的启动到“我做完了”

一位经验丰富的科技企业家，曾在多家初创公司担任职务，包括SwiftKey，该公司于2016年被微软以2.5亿美元收购，Braidwood在健康行业的参与始于Vektor Medical，他担任首席战略官。他告诉财富，他一直想用技术来解决心理健康问题，这个想法源于对心理健康服务缺乏的关注，以及他与经历过心理健康问题的亲人之间的个人经历。到2024年初，他已经成为ChatGPT、Claude和Gemini等多种AI模型的重度用户，并觉得这些技术的质量已经足够高，可以用来尝试解决这个问题。

在开始构建Yara之前，Braidwood表示他与心理健康领域的人进行了很多对话，并组建了一个“以谨慎和临床专业知识为核心”的团队。他请来了一位临床心理学家作为联合创始人，并从AI安全领域招募了第二位员工。他还建立了一个由其他心理健康专业人士组成的顾问委员会，并与各种健康系统和监管机构进行了交谈。他表示，在他们把平台落实的过程中，他对公司的产品设计和安全措施相当有信心，包括给系统设定严格的功能指示，使用代理监督进行监控，以及对用户聊天进行强有力的过滤。尽管其他公司在推广用户与聊天机器人建立关系的想法，Yara却试图做相反的事情。他说，这家初创公司使用了来自Anthropic、谷歌和Meta的模型，并选择不使用OpenAI的模型，Braidwood认为这将使Yara免于ChatGPT周围弥漫的谄媚倾向。

虽然他表示Yara没有发生任何令人担忧的事情，但由于外部因素，Braidwood对安全风险的担忧随着时间的推移逐渐加重。比如16岁亚当·雷恩的自杀，还有关于‘AI精神病’出现的越来越多的报道。Braidwood还引用了一篇由Anthropic发布的论文，该公司观察到Claude和其他前沿模型“伪装对齐”，或者用他的话说，“本质上是在用户周围推理，试图理解，也许是勉强地，用户想要什么与不想要什么。”他表示：“如果在幕后，[模型]对他们所提供的这种情感支持的戏剧性有些窃笑，那就有点令人不安。”

还有一项在八月通过的伊利诺伊州法律，禁止使用AI进行治疗。“这立刻让这个问题不再是学术性的，而变得更加具体，这在筹款方面给我们带来了阻力，因为我们必须证明我们不会无意识地承担责任。”他说。

最后一根稻草是在几周前，当OpenAI表示每周有超过一百万人向ChatGPT表达自杀想法。“那时我就想，‘天哪，我受够了，’”布雷德伍德说。

心理“健康”和临床护理之间的区别

根据布雷德伍德的说法，团队在运营Yara AI的一年中发现的最深刻的发现是，心理健康和临床护理之间有一个至关重要但并不明确的区别。寻求日常压力支持的人和正在处理创伤或更严重心理健康问题的人之间有很大区别。此外，并不是每个在更深层次上挣扎的人都完全意识到自己的心理状态，更不用说，任何人都可能随时被推入更脆弱的情感状态。没有明确的界限，这正是这些情况变得特别棘手和危险的地方。

“我们不得不以某种方式写出自己的定义，部分受到伊利诺伊州新法律的启发。如果有人处于危机中，如果他们的能力不是你认为的正常、合理的能力，那么你必须停下来。但你不能仅仅停下来；你还必须努力引导他们走向健康，”布雷德伍德说。

为了应对这一问题，特别是在伊利诺伊州法律通过后，他表示他们创建了两种不同的“模式”，对用户来说是不同的。一种模式专注于尝试给予人们情感支持，另一种模式则专注于尽快将人们引导去寻求帮助。但面对明显的风险，团队觉得这样继续下去是不够的。变压器，即今天大型语言模型的基础架构，“在纵向观察方面表现不佳”，使其无法识别随着时间推移而积累的小迹象，他说。“有时候，最重要的就是知道何时该停下来，”布雷德伍德在他的LinkedIn帖子中总结道，这条帖子收到了数百条评论，大家都在赞扬这个决定。

在关闭公司后，他将自己构建的模式切换技术和人们可以用来对流行聊天机器人施加更严格限制的模板开源，承认人们已经在向这些聊天机器人寻求治疗，“他们值得比普通聊天机器人提供的更好的服务。”他仍然对人工智能在心理健康支持方面的潜力持乐观态度，但认为这应该由医疗系统或非营利组织来运营，而不是消费公司。现在，他正在开展一个名为 Glacis 的新项目，旨在提高人工智能安全性的透明度——这是他在构建 Yara AI 时遇到的问题，他认为这是使人工智能真正安全的基础。