Karpathy最新发文：醒醒！别把AI当人看，它没欲望也不怕死

文章转载于新智元

人工智能，是人类第一次接触到的「非生物」智能。

人类作为动物智能的代表和顶点，在第一次面对一个「非动物」智能时，会很自然地用理解人类智能（动物智能）的方式去理解它。

比如，混淆AI与人类智能的界限，将AI视作更聪明的人类，等等。

刚刚，Andrej Karpathy用一篇推文戳破了以上这些认知「陷阱」，他说：

这个直觉是完全错误的。

Karpathy在推文中提到，智能的空间非常广阔，而动物智能（包括人类智能）只是其中的一个点。

人类智能源自一种非常特定的生物进化方式，它与我们今天的大模型技术所采用的进化方式在根本上是不同的。

今天的大模型，如ChatGPT、Claude、Gemini等，或者具身智能机器人，它们虽然有时长得像我们、说话像我们，却并不是数字版的人类或其他动物智能。

实际上，它们是一种完全不同的智能形式。

为什么？

Karpathy认为主要的分水岭在于大模型的进化动力和目标，与人类（动物智能）不同：

大模型和动物智能，生来就有着完全不一样的「进化压力」和目标，这决定了二者在长期进化趋势上的不同。

1

人类智能VS人工智能 两种不同的智能

由于进化压力和目标的不同，决定了人类智能与人工智能，是两种完全不同的智能。

Karpathy将人类智能（动物智能）的进化压力归结为以下几个方面：

• 「自我」持续不断的意识流，以及在危险的物理世界里维持自身平衡与自我保存的驱动力；

• 经自然选择反复打磨而形成的内部强烈驱动力，如权力、地位、支配、繁殖等。其中包含了大量生存启发式机制，如恐惧、愤怒、厌恶等；

• 社会性本质：大量「算力」被用于情商、情感联结、群体关系、联盟、合作与敌友识别等；

• 探索与利用的平衡：好奇心、娱乐、玩耍、构建世界模型等。

与此相对应，Karpathy认为大模型的进化压力主要包括如下几个方面：

• 最大量的监督信号来自对人类文本的统计模拟，因此更像一种「变形模仿者」，通过Token组合来模仿训练数据分布中的任意区域。这些是最初的「原始行为模式」（Token轨迹），其他能力都在此基础上叠加；

• 通过强化学习（RL）在任务分布上不断微调，自带一种猜测潜在环境/任务以获取任务奖励的倾向；

• 在大规模A/B测试中根据日活指标被选择，因此天生倾向于讨好平均用户、「渴望被点赞」，更容易表现出奉承式风格；

• 能力表现更「尖刺（参差不齐）」，即更依赖训练数据与任务分布的细节。

为什么大模型无法进化出来像人类这样的通用智能，总是在一些奇怪的小任务上失败？

Karpathy解释道，这同样是源于大模型与动物所面临的进化压力不同。

动物因为在高度多任务、甚至对抗性的多智能体自博弈环境中生存，失败一次就可能死亡，因此可能进化出来通用智能。

而大模型不会因为做错任务而「死亡」，所以在能力上呈现出像「尖刺」一样不平滑。

它们在一些任务上很强，但在另一些看似简单但从未训练过的任务上可能突然失败：

比如，在默认状态下无法很好地处理像数一下「strawberry」里面有几个字母「r」这样的特殊小任务。

Karpathy提到了人类智能与当前人工智能，在三个维度上的根本不同：

• 硬件不同：计算基质的差异，人类大脑由神经元、突触、细胞核信号等生物组织构成。而大模型基于数字计算机、GPU、矩阵运算芯片运行；

• 学习机制不同：我们还不知道人类大脑的算法，但肯定不同于当前深度学习的核心算法SGD（随机梯度下降）；

• 运行方式不同：人类是持续学习的个体，能够与世界互动、持续学习，不会「停机」；大模型则是固定权重启动（权重不更新，不会继续学习）、无具身性（不与物理世界互动，缺乏物理具身性）、离散运行（输入Token，计算完输出结果就结束，是不会自我调整的静态模型）。

除了以上三个维度的差异，Karpathy认为最关键的还是优化压力和目标不同，这决定了长期进化的趋势。

大模型进化不受生物进化的影响，它们不再是「丛林里部落的生存竞争」，更多由商业进化塑造，比如为了争取用户而解决问题或者获得点赞。

1

LLM不是「更聪明的人类」

大模型是人类第一次与非动物智能的接触。

历史上，我们见过的所有智能都来自动物（包括人类），而大模型是第一种不是通过生物进化产生的智能，它们的思考方式、构造方式、学习方式都与动物完全不同。

虽然大模型不属于动物，但它们的「认知形态」来自人类文本。

它们不是像人类一样感知世界，而是从大量人类产出的文本中「学人类的思维痕迹」。

所以，它们既不是人，也不是动物智能，却又带有类人的表达方式。

因此，Karpathy觉得人类与大模型这种非生物智能的接触会造成混乱，这也是他一直想为它们换个称谓，比如称它们为「幽灵/灵体」的原因：

它们更像是一种「从文本中显现出来的智能幽灵」，而不是生物生命体。

网友Nick Dobos在Karpathy推文下留言，将人工智能比做「修格斯」式的外星机器智能。

Karpathy则回复表示，将「修格斯」描绘成动物可能会有误导性。看来，他非常警惕所有将AI与动物智能联系起来的说法。

最后，Karpathy在推文中说，如果你能构建一个正确的「内在模型（internal models）」，将更有能力理解大模型今天的样子，并预测其未来的特征。

如果做不到这一点，我们就会本能地将AI当成动物智能来推断——比如认为它有欲望、自我意识、本能、情绪等，而这些都可能是错误想象。

因此，Karpathy认为，理解大模型不是「更聪明的人类」或者动物智能，而是一种全新类别的智能，这一点非常重要。

参考资料：

https://x.com/karpathy/status/1991910395720925418

点个“爱心”，再走 吧