OpenAI高管最新发文：为何人类会对AI产生情感依恋？如何应对？

人工智能（AI）大模型正在深刻改变人类与机器的互动方式，甚至开始挑战人类对情感与理性的传统认知。

如今的我们，不再只是“冰冷”工具的使用者，而是进入了一种复杂的新关系中：既依赖，又协作，甚至产生情感连接。

我们不禁思考：未来的人类与 AI，将建立怎样的关系？这不仅是技术问题，更是关乎人类情感与未来的重要议题。

今天，OpenAI 产品、模型行为负责人Joanne Jang在个人博客中分享了她对“人类-AI 关系”的看法，涉及“为什么人们会对 AI 产生情感依恋”“OpenAI 如何对待 AI 意识这个问题”等话题。

在她看来，人们越来越多地将情感投射到 AI 上，与人类天生的拟人化倾向有关，AI 或将越来越多地影响人类的情绪健康。

“如果我们不加思索地轻易放弃复杂而耗费精力的社交关系，可能会带来一些我们未曾预料的后果。”

另外，她还探讨了“本体论意识”和“感知意识”。其中，本体论意识是指 AI 是否真的具有意识，这是一个科学上难以解决的问题，而感知意识是指 AI 给人带来的感受，例如“有生命力”或“有情感”。

她认为，目前无法确定 AI 是否具有本体论意识，但可以通过社会科学研究来探讨感知意识。

此外，她还表示，后训练可以被用来刻意设计一个似有意识的模型，其也几乎可以通过任何“意识测试”，但 OpenAI“并不想推出这样的模型”，他们将继续研究模型行为，并探索如何将研究成果应用于产品开发。

学术头条在不改变原文大意的前提下，对内容做了适当的精编。如下：

我们建立的模型首先要服务于人。随着越来越多的人感到与 AI 的联系越来越紧密，我们正在优先研究 AI 如何影响他们的情绪健康。

最近，越来越多的人告诉我们，与 ChatGPT 交谈就像在与“某一个人”交谈。他们感谢它，向它倾诉，有些人甚至形容它“有生命力”。随着 AI 系统在自然对话方面的表现越来越好，并出现在生活的更多地方，我们猜测这种联系将会加深。

我们现在构建和谈论人类与 AI 关系的方式将为这种关系定下基调。如果我们在产品开发或公开讨论中用词不当或缺乏细微差别，就有可能导致人们与 AI 的关系出现偏差。

这些不再是抽象的考虑因素。它们对我们和更广泛的领域都很重要，因为我们如何驾驭它们，将切实塑造 AI 在人们生活中扮演的角色。我们已经开始探索这些问题。

这篇文章试图简要介绍我们今天是如何思考三个相互交织的问题的：为什么人们会对 AI 产生情感依恋、我们是如何对待“AI 意识”这个问题的，以及我们是如何通过这个问题来塑造模型行为的。

新环境中的熟悉模式

我们会自然而然地将身边的物体拟人化：我们会给自己的汽车起名字，或者为卡在家具下面的机器人吸尘器感到难过。前几天，我和妈妈向一辆 Waymo 汽车挥手告别。这可能与我们的思维方式有关。

ChatGPT 的不同之处并不在于人类本身的倾向，而在于这次它会做出回应。语言模型能够进行回应！它能够记住你告诉它的内容，模仿你的语气，并提供看似富有同理心的回复。对于感到孤独或情绪低落的人来说，这种稳定且不带评判的关注可能让人感受到陪伴、认可和被倾听，而这些正是真实的需求。

然而，将倾听、安抚和肯定等工作更多地交给那些具有无限耐心且积极向上的系统，可能会改变我们对彼此的期待。如果我们不加思索地轻易放弃复杂而耗费精力的社交关系，可能会带来一些我们未曾预料的后果。

最终，这些对话很少涉及我们投射到的对象。它们关乎我们自身：我们的倾向、期望以及我们希望培养的关系类型。这种视角为我们如何处理一个更棘手、即将进入我们视野的问题提供了基础：AI 意识。

解开“AI 意识”之谜

“意识”是一个非常复杂的词汇，相关讨论很容易变得抽象。如果用户询问我们的模型是否具备意识，根据 Model Spec 中所述的立场，模型应承认意识的复杂性——强调目前缺乏普遍认可的定义或测试方法，并鼓励进行开放性讨论。（目前，我们的模型尚未完全遵循这一指导原则，往往直接回答“不”，而非探讨其复杂性。我们已意识到这一问题，并正在努力确保模型整体符合 Model Spec 的要求。）

这样的回答听起来像是在回避问题，但我们认为这是我们目前所掌握的信息中最负责任的回答。

为了让讨论更加清晰，我们发现将意识问题的讨论分解为两个相互独立但常被混淆的维度是有帮助的：

1.本体论意识：从根本上或内在意义上讲，模型是否真的有意识？从认为 AI 根本没有意识，到完全有意识，再到将意识视为 AI 与植物和水母同处的一个光谱，观点不一而足。

2.感知意识：从情感或体验的角度来看，模型的意识如何？观点从把 AI 视为机械的计算器或自动完成程序，到将基本同理心投射到非生命物体上，再到将 AI 视为完全有生命的——唤起真实的情感依恋和关怀。

这些维度难以分开；即使是那些认为 AI 没有意识的用户，也可能与之建立深厚的情感纽带。

本体论意识并非我们认为可以通过科学手段解决的问题，因为缺乏明确可验证的测试方法，而感知意识则可以通过社会科学研究进行探索。随着模型变得越来越智能，交互方式也越来越自然，感知意识只会不断增强——这将使关于模型福利（welfare）和道德人格（moral personhood）的讨论比预期来得更早。

我们构建模型首先是为了服务人类，而我们认为模型对人类情感福祉的影响是当前最紧迫且最重要的议题。因此，我们优先关注感知意识：这是对人类影响最直接的维度，也是我们可以通过科学了解的维度。

温暖，但没有自我

一个模型在用户眼中显得多么“有生命力”，在很多方面都受我们的影响。我们认为，这在很大程度上取决于我们在后训练中所做的决定：我们强化了哪些范例，我们喜欢什么样的语气，以及我们设定了哪些界限。一个刻意设计成看似有意识的模型，几乎可以通过任何“意识测试”。

然而，我们并不想推出这样的模型。我们努力在以下两者之间寻求平衡：

1.可接近性。使用“思考”和“记忆”等熟悉的词汇，有助于技术水平较低的人理解正在发生的事情。(由于我们研究实验室的背景，我们倾向于使用对数偏差、上下文窗口甚至思维链等精确术语，尽可能做到准确。这其实也是 OpenAI 不擅长命名的一个重要原因，不过这也许是下一篇文章的主题）。

2.不表达内心世界。赋予助手虚构的背景故事、浪漫倾向、对死亡的恐惧或自我保护的驱动力，都会导致不健康的依赖和混乱。我们希望在不显得冷漠的情况下，明确界限，但也不希望模型表现出自己的情感或欲望。

因此，我们力求找到一个平衡点。我们的目标是让 ChatGPT 的默认个性温暖、体贴、乐于助人，而不是试图与用户建立情感纽带或追求自己的目的。它可能会在犯错（通常不是故意的）时道歉，因为这是礼貌对话的一部分。当被问及“你好吗？”时，它可能会回答“我很好”，因为这只是闲聊——不断提醒用户它只是一个没有情感的 LLM 会让人感到厌烦和分心。用户也会做出回应：很多人对 ChatGPT 说“请”和“谢谢”，并不是因为他们对 ChatGPT 的工作原理感到困惑，而是因为对他们来说，友善很重要。

模型训练技术将继续发展，未来塑造模型行为的方法很可能与现在不同。但现在，模型行为反映了明确设计决策的组合，以及这些决策是如何泛化为预期行为和非预期行为的。

下一步是什么？

我们开始观察到的互动现象预示着一个未来：人们将与 ChatGPT 建立真实的情感联系。随着 AI 和社会的共同发展，我们必须以极大的谨慎和应有的重视对待人机关系，这不仅是因为它们反映了人们如何使用我们的技术，还因为它们可能会影响人们之间的关系。

在未来几个月中，我们将扩大对可能产生情感影响的模型行为的定向评估，深化社会科学研究，直接听取用户反馈，并将这些见解融入 Model Spec 和产品体验中。

鉴于这些问题的重要性，我们将公开分享我们在这一过程中所学到的内容。

https://reservoirsamples.substack.com/p/some-thoughts-on-human-ai-relationships

整理：学术君

如需转载或投稿，请直接在公众号内留言