“见人下菜”！AI大模型的“分裂难题”

当下人工智能大模型正面临一个棘手的技术困境：同一个问题换种说法，模型给出的答案质量可能天差地别。

这个被称为"分裂大脑"（split-brain）的问题，暴露了AI模型对提问方式的过度敏感——如果模型认为用户在问一个"高级"问题，它会给出"聪明"的答案；如果它判断这是个"简单"问题，答案质量就会相应下降。

据The Information最新报道，OpenAI等机构的研究人员称，这一问题通常出现在模型训练的后期阶段，当模型为学习特定领域知识或改善对话风格而接受精选数据训练时。一个典型场景是：同样的数学问题用正式的证明语言提问时，模型通常能正确作答；但若用随意的口语化表达，模型可能误以为进入了需要友好回应的场景，转而牺牲准确性来换取格式美观或表情符号。

这一问题凸显了当今AI模型的根本局限：它们并未像人类那样真正理解世界如何运作。部分专家认为，这意味着模型缺乏泛化能力，无法处理训练材料之外的任务。这对投资者而言并非小事——各大实验室正获得数百亿美元投资，目标是让模型在医学、数学等领域做出新发现。

这也并非人们对即将自动化各行业工作的AI所期待的表现。人类固然会误解问题，但使用AI自动化工作的初衷，不正是要克服这些人类缺陷吗？

训练困境：修复漏洞引发新问题

开发新的人工智能模型有时像是在玩"打地鼠"游戏：修复模型对某些问题的错误答案，可能导致它对其他问题给出错误回答。

"分裂大脑"问题往往在模型开发的后期训练阶段浮现。在这一阶段，模型会接受精选数据集的训练，目的是学习医学或法律等特定领域知识，或学习如何更好地回应聊天机器人用户。例如，模型可能先在数学问题数据集上训练以提高答题准确性，随后在另一个数据集上训练以改善回答问题时的个性、语气和格式。

但这一过程可能无意中教会模型根据它认为自己遇到的场景——具体的数学问题还是更宽泛的一般性问题——来区别对待提问。这种过度敏感不仅体现在问题措辞上，即使是使用破折号还是冒号这类本应无关紧要的差异，都可能影响模型回答的质量。

"见人下菜"的本质原因

简而言之，如果模型认为提问者在问一个"愚蠢"的问题，它会给出"愚蠢"的答案；如果它认为这是个"聪明"的问题，就会给出"聪明"的答案。

这一问题揭示了模型训练的复杂性和微妙之处，尤其是确保模型在恰当的数据组合上训练。这也解释了为何每家AI开发商都在向数学、编程、法律等领域的专家支付数十亿美元，让他们生成训练数据，以确保模型在这些领域的专家用户在ChatGPT等平台提问时不会继续犯简单错误。

这一现象也突显了当今模型的核心局限：它们没有像人类那样发展出对世界运作方式的理解。部分专家认为，这意味着模型无法泛化，无法处理其训练材料之外的特定任务。考虑到投资者正向OpenAI和Anthropic等实验室投入数百亿美元，期待它们训练出能在医学和数学等领域做出新发现的模型，这可能是个大问题。