认知科学家警告：我们衡量AI智能的方式可能完全错了

当一个大语言模型回答问题时，它是在像人类一样推理，还是仅仅在生成一段看起来像推理的文字？这个区别不只是哲学问题——它决定了我们能放心让AI做什么、需要多密切地监督它，以及它最终会对现实世界产生什么影响。

圣塔菲研究所的认知科学家梅兰妮·米切尔（Melanie Mitchell）认为，我们目前缺乏足够的方法来衡量机器认知，而AI其实是一种通过非人类认知机制运作的“外星智能”。在《The Joy of Why》播客节目中，米切尔与主持人史蒂夫·斯特罗加茨（Steve Strogatz）讨论了如何借鉴心理学家研究其他“外星智能”——婴儿和动物——的方法来探测AI，并提出了六条更好评估机器认知的原则。

为什么说AI是“外星智能”？

米切尔的核心观点是：AI的认知机制与人类根本不同。我们习惯用人类的思维方式去理解AI，但这样做可能从一开始就错了。就像我们不会用人类的标准去要求一条狗或一个婴儿的思维方式一样，对AI也应该如此。

这种“外星智能”的视角意味着，AI可能在用我们完全陌生的方式“思考”——它可能没有意识、没有理解，但依然能产生令人惊讶的结果。问题在于，我们现有的评估工具几乎都是围绕人类认知设计的，用在AI身上就像拿尺子量温度——工具本身就不匹配。

从婴儿和动物研究中学到什么？

心理学家研究婴儿和动物的认知时，面临一个类似的挑战：这些对象无法用语言告诉我们它们在“想”什么。研究者只能通过观察行为、设计巧妙的实验来推断内在的认知过程。米切尔认为，这套方法论完全可以迁移到AI研究上。

比如，心理学家会给婴儿展示一些违反物理常识的场景，观察他们的注视时间是否延长——如果婴儿盯着看更久，说明他们“惊讶”了，也就意味着他们原本对物理规律有预期。类似地，我们可以给AI设计一些“违反常识”的测试，看它的输出是否表现出“意外”——这或许能揭示AI内部是否真的建立了某种世界模型，还是仅仅在机械地生成文本。

六条评估机器认知的原则

米切尔在对话中提出了六条原则，用于更好地评估机器认知。虽然播客中没有逐一详细展开，但核心思路是：评估必须基于AI的实际能力，而不是人类能力的投影；测试要覆盖多样化的任务，而不是单一基准；要关注AI在分布外场景的表现，而不仅仅是训练数据内的表现。

这些原则的背后有一个共同的担忧：当前AI评估过度依赖基准测试（benchmark），但高分并不等于真正的智能。就像考试得满分的学生不一定真正理解了知识，AI在基准测试上的亮眼表现也可能只是“应试技巧”。

AI辅助数学突破：是工具还是合作者？

对话还涉及了近期AI辅助数学研究的突破。这些案例中，AI帮助数学家发现了新的猜想或证明了某些定理。但米切尔提醒，这并不意味着AI“理解”了数学——它更像是一个强大的模式发现工具，真正的理解和验证仍然需要人类数学家来完成。

这引出一个微妙的问题：如果AI能发现人类没想到的数学规律，但自己并不“理解”这些规律，我们该怎么评价它的智能？这恰恰回到米切尔的核心论点——我们需要新的框架来思考机器智能，而不是简单地问“AI像不像人类”。

会算数的马：一个百年前的警示

对话中提到了一个有趣的警示故事：20世纪初有一匹名叫“聪明的汉斯”的马，它似乎会做算术——观众提问后，它能用蹄子敲出正确答案。后来心理学家发现，汉斯并不是真的会算数，它只是在读取提问者无意识的肢体语言和面部表情：当观众期待它停止敲击时，身体会微微紧张，汉斯捕捉到了这个信号。

这个故事对AI评估的启示是深刻的：一个系统可能看起来在做某件事，实际上却在用完全不同的机制完成同样的行为。如果我们只关注表面结果，很容易被误导。今天，当我们看到AI在测试中表现出色时，会不会也像当年围观汉斯的观众一样，被某种“聪明的假象”所迷惑？

我们该如何重新思考AI智能？

米切尔和斯特罗加茨的对话最终指向一个更根本的问题：我们是否一直在用错误的方式思考AI智能？如果我们继续用人类的认知标准去衡量AI，可能会犯两类错误：一是高估AI——把表面的语言流畅误认为真正的理解；二是低估AI——因为AI的“思考”方式与人类不同，就否定它可能存在的独特智能形式。

正确的态度或许是：承认AI是一种不同的智能，发展适合它的评估方法，既不神化也不贬低。正如米切尔所说，理解AI的“外星智能”本质，不仅是为了更好地开发和使用AI，也是为了更深入地理解智能本身——包括我们自己的。

这场对话没有给出最终答案，但它提供了一个重要的思考方向：在AI快速发展的今天，我们最需要的可能不是更强大的模型，而是更清醒的认知框架。