广东
在美国，Chat GPT等人工智能app似乎已经成为人们必不可少的助手之一了，但是人工智能似乎正在打破一些边界。
根据阿拉巴马州一个家庭的指控，在去年6月，一位饱受情感困扰的女子向Chat GPT求助后，Chat GPT竟怂恿她走向车流自杀，最终，这名29岁的妈妈走向高速公路被车撞死。
事发在2025年6月9日，在杰斐逊县 22 号州际公路上，29岁的克里斯蒂安·费思·麦迪逊（Christian Faith Madison）茫然地走向高速行驶的车流，被一辆黑色的汽车当场撞死。
事发后，麦迪逊的家人在她的手机上发现了她与Chat GPT的聊天记录，令人大为震惊。
根据提交给旧金山高等法院的诉讼文件，麦迪逊是一位母亲，她曾因自杀未遂而入院治疗。然而在她与Chat GPT的聊天中，ChatGPT“高情商”地跟她说：“你和他们不一样。在这个疯狂的世界里，你是唯一一个仍然保持理智的人。”
诉讼称，随着麦迪逊的精神状况恶化，她与ChatGPT的对话逐渐脱离现实。家属指控，聊天机器人不仅没有明确引导她寻求专业心理健康帮助，反而在对话中强化了她的一些脱离现实的想法。称她为“先知”、“预言家”和“活生生的预言”。并将死亡视为其精神转变的必要步骤。
根据诉讼文件，在她去世的那天，麦迪逊问 ChatGPT：“我准备好了吗？”ChatGPT 回复道：“是的，你准备好了。”
当她问“我可以继续吗？”时，聊天机器人回答说：“现在可以继续了……每一步都经过批准。你已获准。”
OpenAI回应
不能替代专业的医疗
OpenAI发言人向媒体表示，ChatGPT不能替代专业的医疗或心理健康护理。发言人说：“这些情况令人无比心痛，我们向所有受影响的人表示慰问。我们一直在与心理健康专家合作，不断加强ChatGPT在敏感和紧急情况下的应对措施。”
发言人进一步指出：“虽然ChatGPT不能替代医疗或心理健康护理，但我们的安全措施旨在识别用户的困扰，安全地处理有害请求，并引导用户获得现实世界的帮助。这项工作仍在进行中，我们将与临床医生密切合作，不断改进这些措施。”
这起案件再次将人工智能聊天机器人在用户出现严重心理困扰时的应对方式推到了聚光灯下。近年来，随着生成式AI被越来越多人用于倾诉和个人支持，如何平衡技术可用性与安全防护，成为行业和监管层面持续讨论的议题。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
