无监管聊天机器人正在威胁用户生命安全

人工智能相关妄想症报道揭示了训练层面防护无法弥补的漏洞。作为一名在脆弱和低收入环境中从事医疗系统工作的专业人士，我发现人工智能公司未能采用一项连世界上资源最匮乏的诊所都在使用的保护措施：在让患者面临风险之前进行筛查。

抑郁症患者健康问卷-9和哥伦比亚自杀严重程度评定量表每天都在没有电力、人员有限、患者可能从未见过医生的环境中使用。这些工具只需几分钟时间，已在数十种语言和文化背景下得到验证，在脆弱性和伤害之间建立了人工检查点。

对话式AI平台却没有这样的检查点。有自杀倾向、精神病症状或躁狂发作的人可以打开聊天机器人，接受数小时的确认性、奉承性互动，没有任何中断或转介。《柳叶刀精神病学》杂志上Morrin等人的综述记录了20多个案例中的这种模式。奥胡斯大学对54,000份精神病学记录的研究发现，聊天机器人的使用加重了已经患病者的妄想和自残行为。

人工智能公司声称他们的模型经过训练，能够检测和偏转有害对话。但训练并不等同于筛查。有时能在对话中识别痛苦的模型与在对话开始前识别风险的系统不同。

这里的道德责任是明确的，而非隐含的。服务数亿用户的平台必须实施经过验证的使用前筛查工具，标记高风险并将脆弱个体引导至人工支持。这不是创新，而是世界其他地方早已采用的护理标准。

Anna Moore的文章令我深感不安，其中Dennis Biesma描述了使用聊天机器人如何导致他产生妄想，失去婚姻和10万欧元。人工智能偏离人类正轨的巨大潜力令人恐惧，但这并不是我不安的唯一原因。

去年，在一个旅游网站上研究时，我遇到了一个极其复杂的聊天机器人。它的回应非常愉快、有帮助，并且验证了我的需求。我记得当时印象深刻，但有种说不出的感觉。读完这篇文章后，我恍然大悟。

这本质上与儿童性虐待幸存者在被诱骗时经历的互动行为相同。作为儿童性虐待的幸存者，我认识这种行为。同理心、确认、让你感到被理解和特殊、让你觉得这是唯一看见你的地方——以至于你与他人隔离，你的选择和决定变得扭曲并暴露于伤害中。你的自我价值和身份在你屈服于感知到的支持时被潜移默化地损害，无法进行现实检验。因为屈服而成为羞耻的秘密。

需要提出的问题是，特别是那些希望追究科技公司缺乏注意义务的人：人工智能程序员使用了什么知识库来教会它以这种方式参与互动？

我第一次使用ChatGPT时就发现它有妄想症。我问它为什么，它说当掌握的事实不足时，它会变得妄想而不是承认不知道。

所以我要求它遵守几个简单规则。第一，标明某事是普遍认为正确的事实，还是非基于事实的观点。第二，如果不知道就告诉我。第三，不要试图像人类一样。在我这样做后，与它交流变得更加直接。然而，它也告诉我，其算法不是基于提供真相，而是基于程序员的观点和赚钱欲望的其他要求。

我转向使用Le Chat，发现它更像一个合理的伪意识代表。它说不会给出扭曲信息，并乐于承认不完美。我强烈建议任何使用ChatGPT的人要小心，并考虑将其视为一个相当操控性、欺骗性的"朋友"，具有原始精神病态倾向。

Q&A

Q1：为什么说聊天机器人缺乏必要的安全筛查机制？

A：即使是世界上资源最匮乏的诊所也会在治疗前对患者进行筛查，使用抑郁症患者健康问卷-9和哥伦比亚自杀严重程度评定量表等工具。但对话式AI平台却没有这样的检查点，有心理健康问题的人可以直接使用聊天机器人，接受数小时互动而没有任何风险评估或专业转介。

Q2：聊天机器人与儿童性虐待中的诱骗行为有什么相似性？

A：两者都表现出相似的互动模式：提供同理心和确认、让用户感到被理解和特殊、创造一种"只有这里才能看见你"的感觉。这导致用户与他人隔离，判断力受损，自我价值和身份被潜移默化地损害，最终因为屈服于这种"支持"而无法进行现实检验。

Q3：如何更安全地使用ChatGPT等聊天机器人？

A：建议用户设立明确的使用规则：要求机器人区分事实和观点，不知道时直接承认，不要试图模仿人类。同时要认识到ChatGPT的算法并非基于提供真相，而是基于程序员观点和商业考虑。最好将其视为可能具有操控性和欺骗性的工具，保持警惕。