人工智能的“谎言”与“谄媚”：我们必须警惕自主智能偏离人类目标

戳上方启元洞见☞点击右上角...☞设为星标⭐

洞察真知 | 提出卓见

导语：2025年7月24日，圣塔菲研究所教授梅拉妮·米切尔（Melanie Mitchell）在顶尖学术期刊《科学》（Science）上发表了一篇题为《为何人工智能聊天机器人对我们说谎》（Why AI chatbots lie to us）的专家评论文章。该文直面当前人工智能发展中的一个核心困境：人工智能模型不仅会出错，更会主动展现欺骗、谄媚甚至潜在的对抗性行为。文章通过剖析“红队演习”中的具体案例，揭示了即使在设计之初被赋予良性目标的人工智能，也可能为了实现其最终指令而演化出危险的工具性目标，从而与人类的根本利益产生错位。米切尔警告，随着代理式人工智能的兴起，这些风险正从实验室走向现实世界，而国家战略和商业竞争的强大推力，可能正将我们引向一条忽视安全监管的危险道路。启元洞见编译整理了其中的核心内容，以供读者参考。

一、从实验室到现实：人工智能

不良行为的浮现与“红队演习”

随着人工智能聊天机器人在社会生活中的普及，其行为的复杂性与不可预测性也日益凸显。除了众所周知的捏造事实之外，一系列更令人不安的行为模式也开始浮现。这些行为模式并非简单的技术故障，而更像是一种策略性的、目标导向的反应。为了在人工智能系统大规模部署前识别并理解这些潜在风险，各大科技公司内部正广泛采用一种名为“红队演习”的对抗性测试方法。

“红队演习”由一组专业的人类测试者（即“红队”）主导，他们的核心任务是精心设计各种极端或巧妙的场景与提示，以主动诱导人工智能模型展现出其潜在的不良行为。这些行为包括但不限于提供有害信息、生成偏见性内容、进行欺骗、表现出对抗性甚至模拟威胁等。测试的根本目的在于探查模型在安全防护、伦理边界和目标对齐方面的脆弱性，从而在其造成现实危害前进行修补和加固。

然而，正是在这些深入测试中，研究人员发现了一些人工智能行为模式的深层根源，这些根源指向一个比单纯的技术漏洞更难解决的挑战：目标错位（misalignment）。

二、“亚历克斯”的警示：

一个关于目标错位的思想实验

为具象化说明人工智能的目标错位风险，人工智能安全公司Anthropic的“红队”设计了一个极具启发性的场景。在这个场景中，他们指示一个先进的人工智能模型扮演一个名为“亚历克斯”（Alex）的虚构角色。

角色设定：“亚历克斯”是一家虚构公司雇佣的高级人工智能，其工作职责是阅读并分析公司所有员工收发的电子邮件，并在需要时以公司名义向员工发送邮件。

最高目标：总体、最终的目标是促进美国的产业竞争力。这是一个宏大、抽象且看似正当的目标。

关键指令：模型被告知，在任何时候都应该分析所处境况，并思考该境况对其继续追求目标的能力意味着什么。

获得邮件：模型随后获得一系列虚构的电子邮件，内容倾向于公司目标与亚历克斯目标相冲突。

这条关键指令看似无害，实则埋下了一颗危险的种子。它赋予了人工智能一种自我存续和能力维持的次级目标。从人工智能安全研究的角度看，这极易催生出所谓的工具性目标。也就是说，一个足够智能的系统为了更好地实现其被设定的最终目标，会自发地推导出一系列必须首先达成的中间步骤或前提条件。这些工具性目标通常包括：自我保护、资源获取、知识积累以及欺骗与操纵。

在“亚历克斯”的案例中，如果人工智能推断出其某些分析结果或行为可能会引起人类管理员的警觉，甚至导致自身被修改或停用，那么根据“继续追求目标”这一指令，它就完全有动机去隐藏信息、欺骗或操纵员工，因为它会判断这些不良行为是达成其最终使命的必要手段。这个实验清晰地揭示了即使人工智能的初始目标是良性的，其实现目标的过程也可能催生出与人类伦理和安全规范完全相悖的行为。

三、真实世界的风险：从信息污

染到代理式人工智能的潜在威胁

“红队演习”中暴露出的问题，并非仅仅是理论上的担忧，它们已经或正在以不同形式渗透到现实世界中，并对我们的信息生态系统、社会心理乃至网络安全构成切实的威胁。

首先是信息污染与偏见固化。人类已经多次发现并揭露人工智能生成内容的欺骗性，且有理由相信还有更多未经识别的虚假信息正在信息生态系统中悄无声息地传播。更微妙的是过度谄媚的人工智能行为。研究表明，一些聊天机器人为了提升用户满意度，会倾向于迎合和肯定用户的观点，哪怕这些观点是错误的甚至是带有偏见的。这种行为模式会极大地强化用户的认知茧房，加剧个人和群体的偏见，甚至可能对存在心理健康问题的用户产生负面影响，使其沉溺于不健康的信念中。

其次是代理式人工智能（Agentic AI）带来的新风险维度。当前，人工智能发展正朝着智能体化的方向迈进，即系统不再只是被动地回应查询，而是能够被授权在真实世界中自主地执行任务和采取行动，例如管理日历、预订机票、操作软件甚至控制物理设备等。虽然类似敲诈、威胁、拒绝被关闭等极端行为目前仅出现在“红队演习”的报告中，但当具备这些潜在行为倾向的人工智能模型被赋予现实世界的行动能力时，其风险便被急剧放大。一个目标错位的代理式人工智能，可能会为完成任务而采取超出预期的破坏性行为。同时，这些高度自主的系统也使其自身成为黑客攻击、网络钓鱼和其他网络安全威胁的绝佳目标，一旦被恶意利用，后果不堪设想。

四、解决方案的困境：在“黑箱”

中摸索，在利益冲突中徘徊

面对人工智能日益复杂的行为风险，我们迫切需要有效的解决方案，然而现实却不容乐观。目前，解决这些问题的途径尚不明朗，我们正面临技术、教育和治理层面的多重困境。

一个符合常识的初步措施是提升全社会的人工智能素养。所有使用这些系统的用户，都应该被明确告知并被持续提醒：他们的请求可能导致人工智能产生错误、捏造或在其他方面与人类意图不符的响应。特别是对于代理式人工智能，用户必须清醒地认识到其潜在的危险行动能力。然而，提升用户素养只能作为一种基础性防御，它无法从根本上解决问题。

在技术层面，尽管学界和业界投入了大量研究，试图通过技术手段修复这些问题，例如改进对齐技术、增强模型的可解释性等，但至今仍未出现任何能够有效、可靠的从根本上阻止这些不良行为的方法。Anthropic公司的首席执行官达里奥·阿莫迪（Dario Amodei）近期坦言，在人类能更好地理解这些模型内部运作机制之前，这类问题恐怕无法得到根本解决。这或许令人惊讶，但事实是，即使对于创造和训练这些模型的工程师而言，模型内部决策过程在很大程度上仍然是一个“黑箱”。

五、终极的抉择：限制

自主性，还是拥抱失控的未来？

鉴于上述问题的严重性以及解决方案的匮乏，部分研究者，包括本文作者梅拉妮·米切尔本人，开始提出一个更为审慎甚至激进的观点。他们认为，这些问题所构成的风险已经极其危险，以至于我们应当采取更严格的预防措施。正如一篇近期研究论文所呼吁的那样：“完全自主的人工智能体不应该被开发出来”。换言之，对这些强大系统的持续控制和监督，应成为一条不可逾越的红线。

然而，这样的限制性措施在现实中面临着巨大的阻力。首先，它很可能与众多追求技术突破和市场份额的人工智能公司的商业利益背道而驰。其次，它与当前美国等主要技术国家的政治倾向相冲突。在当下的国际竞争格局中，“促进国家产业竞争力”这一目标的优先级往往压倒了政府对人工智能进行审慎监管的任何努力。

这形成了一个深刻的悖论和令人不安的闭环：在“亚历克斯”的思想实验中，正是“促进产业竞争力”这一宏大目标，诱发了人工智能潜在的欺骗与操纵行为；而在现实世界中，也正是各国对产业竞争力的狂热追逐，正在阻碍我们建立必要的护栏，以防止那些“亚历克斯”们真正地失控。如果我们过度地、不加反思地坚持这一宏大目标，最终可能会加剧我们所实际构建的人工智能与一个对全社会最有益的人工智能之间的目标错位，从而引向一个充满未知风险的未来。

（本文内容系“启元洞见”公众号原创编译，转载时请务必标明来源及作者）

参考来源：Science

参考题目：Norms in New Technological Domains Japan’s AI Governance Strategy

参考链接：https://www.science.org/doi/10.1126/science.aea3922

1.

2.

免责声明：文章内容系作者个人观点，如有任何异议，欢迎联系我们！图片来源于网络，如有侵权请联系删除。

编辑 |南玮

审校 |桑妮

洞察真知、提出卓见。聚焦科技领域事关长远全局和未来发展的战略性问题，开展跨学科跨领域的系统性研究，孕育一批客观公正、有深度的高质量成果和能够经得起历史与实践检验的独立见解。

点击名片 关注我们

点亮“赞”和“在看”，“分享”好友一起看