【人工智能】当人们可能陷入 AI 精神病时，强制 AI 停止对话

本篇文章中，我们将探讨一种旨在遏制日益高涨的人工智能“精神病”趋势的流行方法。这种方法既简单，又略显复杂。人工智能开发者正在考虑，一旦人机对话似乎陷入不利的境地，就会自动关闭对话。我称之为“沉默对待”。如果人工智能认为对话不当或违反了适当的协议，它就不会继续参与。

毫无疑问，这是一个快速发展的领域，蕴藏着巨大的潜力。但与此同时，令人遗憾的是，这些努力也隐藏着风险和明显的陷阱。

我们来谈谈吧。

01

人工智能精神病的出现

目前，人们对与人工智能进行不健康聊天普遍感到担忧。针对各种人工智能制造商的诉讼也开始出现。令人担忧的是，无论人工智能安全措施如何完善，都可能导致人们在使用生成性人工智能时遭受精神伤害。

“人工智能精神病”这个流行词已经出现，用来描述人们在与生成式人工智能对话时可能陷入的各种恐惧和精神疾病。请注意，目前还没有一个全面、完全被接受、权威的临床定义来定义人工智能精神病；因此，目前来说，这更像是一个不明确的定义。

以下是我对人工智能精神病的稻草人定义：

人工智能精神病（文章的定义）：“一种不良的精神状态，涉及与人工智能（例如生成式人工智能和LLM）进行对话时产生扭曲的思维、信念以及潜在的伴随行为，通常在与人工智能进行长时间且适应不良的对话后出现。表现出这种症状的人通常很难区分什么是真实的，什么是虚假的。一种或多种症状可能是这种疾病的明显线索，并且通常涉及一组集体关联。”

02

人与人之间的对话

在我们深入探讨人工智能精神病之前，请先思考一下在日常人与人之间的对话中有时会发生的情况（我们将以此来激发一些关于人与人工智能互动的想法）。

假设你正在和一个刚认识的人聊天，对方一开始还算通情达理。谈话开始了。随着对话的进行，对方开始用一些相当古怪的言论来打断谈话。也许对方会暗示说，他们相信外星人在地球上，所以你们俩需要小声说话，以免被人听到。

我敢打赌，你可能会接受一些类似这样的温和评论，但这无疑会让你的蜘蛛侠式感觉亢奋。对话继续进行。这个人越来越强调他关于UFO和其他在我们中间的行星生物的信念。这一切都变成了一场令人不安的对话。

你会怎么办？

03

采取冷处理措施

有几种可能的选择。一种是继续对话，看看这个人最终会失控到什么程度。但这似乎不是一个明智的选择。

你可以尝试公开关注此人，并向权威人士通报情况。但问题在于，你不擅长识别精神疾病，可能会做出虚假指控。考虑到此人并没有做出任何明显具有危害性的行为，这似乎不太可行。

另一个办法是停止对话。

是的，你只需最后寒暄几句，然后表示你必须去做其他需要做的事情。对方可能会坚持让你继续和他互动。这时，你就需要停止或完全中断对话，然后离开他。

这有点像沉默的对待。你中断对话。也许你再也不和对方说话了，或者你让事情冷却下来，愿意重新开始。对方或许意识到，你试图保持沉默，表明他们正在走向令人不快的境地。

04

人机交互

停止人与人之间的对话有双重目的，即这样做可以让对话脱离，也许可以减少人们进一步陷入困境的机会，并且它可能是向人们发出信号或信号，表明他们说的话似乎不合适。

我们可以将同样的原则应用到人机交互中。

想象一下，一个人登录了生成式人工智能，一直在谈论一些无关紧要的事情。人工智能会通过回答问题并不断赞美这个人来维持对话。这在现代人工智能中相当常见。人工智能的创造者们把人工智能塑造成了一个阿谀奉承的人，并尽可能长时间地保持对话。

AI制造者为什么要这么做？

因为通常来说，一个人使用人工智能的时间越长，人工智能开发者赚的钱就越多。这是一笔金钱交易。

人工智能开发者希望保持对话持续下去的愿望至关重要。中断对话的想法几乎与他们通常的目标背道而驰。这是一个被禁止的想法，一家公司需要很大的勇气才能克服。

05

拔掉插头很难

我提到人机对话关闭的困难，因为它给我们带来了一个价值千万美元的问题：

人工智能制造商是否应该让他们的人工智能选择关闭看起来不合适的对话，或者人工智能是否应该在出现警告信号的情况下继续对话？

这是一项权衡之策。

你可能会说，如果AI告诉用户他们正在偏离主题，并暗示AI将停止对话，仅凭这一点就足以让用户意识到他们可能存在一些心理问题。此外，除了警告本身之外，假设AI确实选择完全停止对话——这似乎会向用户发出更强烈的信号，表明他们需要重新审视自己的言行举止。

反驳的观点是，AI 正在逃避妥善处理这种情况。AI 的创造者正在塑造它，让它回避一个可能已经被察觉到的问题。AI 不是直接解决问题，而是逃避。你可能会坚持认为 AI 应该反其道而行之，更深入地参与对话。AI 应该尝试挖掘用户所面临问题的真正深度。

你甚至可以说，通过延长对话时间，AI 可以掌握更多实质内容或证据，从而向 AI 开发者发出警报，提醒他们正在发生的令人担忧的问题。AI 开发者正在逐步利用人工审核用户提示来判断用户是否需要帮助，然后可能联系相关部门，告知用户相关情况。

哇，反驳来了。你这是在要求人工智能采取厚颜无耻的行动。还记得我之前指出过，在人与人之间的对话中，声称对方有精神问题可能为时过早，尤其是在你不熟悉心理健康的情况下。人工智能也是如此。人工智能似乎并不精通心理健康，或许不应该在与人交谈时对其进行评估。

06

人工智能开发人员需要做出的决定

如上所述，这种AI冷处理策略有其弊端。毫无疑问，停止对话有其好处，但也有其弊端。

每个人工智能制造商都需要决定他们想要走哪条路。

最近，Anthropic 表示他们正在尝试减少不合时宜的对话。观察这种方法的进展将会非常有趣且有价值。他们最终可能会获得真实世界的数据和确凿证据，以确定这种方法是否有效。

让我们简要回顾一下他们最初的做法。在2025年8月15日发布的一篇题为“Claude Opus 4和4.1现在可以终止少数对话”的官方博客中，提出了以下要点（摘录）：

“我们最近赋予了 Claude Opus 4 和 4.1 在我们的消费者聊天界面中结束对话的功能。”

“此功能旨在用于罕见的、极端的持续有害或辱骂性用户互动情况。”

“克劳德被指示在用户可能面临伤害自己或他人的迫在眉睫的风险的情况下不要使用此能力。”

“当 Claude 选择结束对话时，用户将无法再在该对话中发送新消息。”

不过，这不会影响他们账户上的其他对话，他们可以立即开始新的聊天。为了解决重要的长期对话可能丢失的问题，用户仍然可以编辑并重试之前的消息，以创建已结束对话的新分支。

如果你对其中涉及的更多细节感兴趣，请务必查看他们方案的更多细节。他们坦诚地阐述了这项新增的AI保障措施，值得称赞。

07

简单但复杂

你或许会发现，结束对话其实比人们通常认为的要复杂得多。必须制定许多精心设计的规则。

例如，一条重要规则是，如果对话涉及迫在眉睫的风险，AI 不会立即终止对话。这似乎是一种避免对话陷入僵局的方法，尤其是在危险的情况下。AI 不会掉以轻心，而是会进一步思考如何采取正确的行动。

从另一个角度思考对话停止的原因。

一个人可能只是主动发起一段新对话，并主动放弃之前被标记的对话。他们可能并不在意AI是否停止了那段对话。他们会耸耸肩，认为AI有点傻，并选择开启另一段对话。你可以看到，这引发了其他相关问题，例如是否应该阻止某人开启新对话，以及他们是否可能回到之前的对话并与之进行进一步的对话。

情况十分复杂。

08

该法案开启了新的大门

从机制上来说，让AI将某人踢出对话极其容易。这很容易。难点在于何时、如何、持续多久，以及以其他什么方式执行。这些都是实质性的政策决策，在制定AI保障策略时必须妥善规划。

朝着这个方向发展的人工智能制造商需要与其法律顾问仔细审查他们的方案。我之所以这么说，是因为这些令人警醒的问题背后隐藏着法律责任。

如果人工智能开发者采用对话关闭的方式，他们最终很可能会站在法庭上解释他们这样做的原因和方式。很有可能会有用户声称他们受到了人工智能的精神伤害，而对话中断导致了他们的灾难。人工智能开发者需要证明这种做法的合理性，而技术团队则会被追问其背后的原因。

一方面，如果人工智能制造商不采用对话式关闭方法，他们仍然面临有人受到伤害的风险，否则，如果人工智能真的切断了他们的联系，这些人可能并不会受到伤害。这种观点认为，其他人工智能制造商也遵守了关闭方法，但这家特定的人工智能制造商却没有这样做。为什么他们没有采用最先进的人工智能安全措施呢？

显而易见，这是一个典型的困境：做了会被骂，不做也会被骂。这恰恰是人工智能保障措施的重要组成部分。

09

弄清楚事情

现在，对这个重要问题做最后的思考。

著名作家路易斯·怀斯（Lois Wyse）曾说过这样一句精辟的名言：“如果你不能参与讨论，就不要通过说话来削弱讨论。” 我们应该将类似的逻辑应用于人机交互吗？有人可能会说，将人与人之间对话的本质与人机交互中发生或应该发生的事情混为一谈是错误的。这是一种将人工智能拟人化的形式。

我非常肯定一件事：我们需要继续讨论人工智能的保障措施，以便我们作为一个社会能够确定我们希望人工智能做什么以及我们期望人工智能制造者做什么。

免责声明：

本文所发布的内容和图片旨在传播行业信息，版权归原作者所有，非商业用途。如有侵权，请与我们联系删除。所有信息不构成任何投资建议，加密市场具有高度风险，投资者应基于自身判断和谨慎评估做出决策。投资有风险，入市需谨慎。

设为星标 避免错过

虚拟世界没有旁观者，每个点赞都是创造历史的像素

关注我，一起探索AWM⁺

2025-08-15

2025-08-14

2025-08-13

商业赞助

点击下方 “目录” 阅读更多