AI大神卡帕西发年终总结！大模型有6大转折点，潜力挖掘不足10%

智东西12月23日消息，12月20日，前特斯拉AI总监、OpenAI联合创始人安德烈·卡帕西（Andrej Karpathy）在其个人博客上发布帖子，谈到2025年大模型的6个转折点，他认为行业对当前大模型潜力的挖掘尚不足10%，大模型比他预期的聪明得多，也笨拙得多。

在全文中，他特别提到了6个关键词——RLVR（基于可验证奖励的强化学习）、大模型智能的“形态”、大模型新应用层、AI交互新范式、Vibe Coding（氛围编程）以及大模型交互形式，还单独提及了2个模型，Anthropic的编程模型Claude Code和谷歌的图像编辑模型Nano Banana，以及1家公司AI编程创企Cursor。

2025年，预训练、监督微调以及基于人类反馈的强化学习的大模型传统训练范式发生改变，新的范式以基于可验证奖励的强化学习为核心，让模型在数学、代码等有明确对错的环境中进行训练，从而自发涌现出推理能力。

博客核心信息如下：

1、RLVR的突破在于利用数学、编程等可客观验证的奖励函数对模型进行长期、深度的优化，让模型自发地形成了在人类看来酷似“推理”的策略，这一方法是提升模型能力性价比极高的方法。

2、大模型智能的本质是“召唤幽灵”，大模型由人类数据与训练目标所定义，它没有意识，完全不同于“会成长的生命体”。

3、基准测试极易受到RLVR或通过合成数据生成等较弱形式的影响，当下的AI基准测试正面临“刷分”导致的可信度危机。

4、大模型新应用层的关键是构建以模型为核心的专业系统，通过编排多个模型调用、工具和私有数据，形成解决复杂任务的工作流，承担上下文作用。

5、Claude Code的显著特点是能运行在开发者的电脑上，调用开发者的私人环境、数据和上下文，这是一种与AI交互的全新范式。

6、通过Vibe Coding（氛围编程），写代码不再严格局限于受过高度训练的专业人士，任何人都可以尝试，这将重塑软件生态与职业定义。

7、大模型的输出形态将从纯文本演进成人们喜爱的方式，如图像、信息图、幻灯片、动画/视频、网页应用等。

8、大模型正在演化成一种新型智能，卡帕西认为它既比预期聪明得多，又比预期笨拙得多，行业至今尚未发掘出大模型能力潜力的10%。

以下为卡帕西博客全文翻译，题为《2025年大模型年度回顾（2025LLMYear in Review）》：

2025年是大模型取得强劲发展、进展显著的一年。以下是我个人关注到的具有代表性、有点出乎意料的“范式变迁”（paradigm changes）清单，这些变化深刻影响行业格局，并在概念层面让我感到印象深刻。

一、RLVR：基于可验证奖励的强化学习

2025年伊始，大模型标准生产流程大致如下：

1、预训练（约2020年的GPT-2/3）

2、监督微调（约2022年的InstructGPT）

3、基于人类反馈的强化学习（约2022年的RLHF）

在一段时间内，这曾是训练生产级大模型的稳定、已验证的配方。然而，2025年，RLVR成为事实上的新的标准环境。

RLVR的核心突破在于，通过让大模型在数学、编程等可自动验证答案的环境中进行强化学习训练，模型自发地形成了在人类看来酷似“推理”的策略：它们学会了将复杂问题拆解为中间步骤进行计算，并掌握了多种来回推敲以解决问题的策略（参见DeepSeek R1论文中的示例）。

这是传统范式难以实现的能力，因为对于大模型来说，最优的推理路径和纠错方式并不明确，模型必须在奖励信号的引导下，自行探索一套适合自己的问题解决办法。

与之前计算消耗相对较小的SFT（监督微调）和RLHF（人类反馈强化学习）不同，RLVR涉及利用数学、编程等可客观验证的奖励函数进行长期、深度的优化。事实证明，运行RLVR阶段是提升模型能力性价比极高的方法，因此迅速夺走了原本用于预训练的大量计算资源。

2025年模型能力的飞跃，主要源于各大实验室对这一范式的全力投入，其结果是，模型参数量虽然没有发生显著变化，但强化学习训练过程大幅延长。

这个新阶段还引入了一个前所未有的新维度：通过生成更长的推理轨迹、增加思考时间，开发者可灵活调控测试阶段的计算量。

OpenAI在2024年底推出的o1模型首次展示了RLVR的潜力，而2025年初的o3版本则成为一个明显的拐点，其能力的质变已能被清晰感知。

二、“幽灵”与“动物”：智能的锯齿状能力

2025年，整个行业开始开始更直观地理解大模型智能的“形态”。我们面对的不是在“进化、成长着的动物”，而是在“召唤幽灵”。

大模型的技术栈（神经网络架构、训练数据、训练算法，尤其是优化目标）与人类智能的方方面面都不同，因此我们得到的是智能空间中截然不同的实体，用动物的视角来思考它们是不合适的。

从监督信号的根源看，人脑神经网络是为了丛林部落的生存而优化的，而大模型的神经网络则被优化用于模仿人类文本、在数学谜题中获取奖励、以及在竞技场中获得人类点赞。

随着RLVR在可验证领域的应用，大模型在这些特定领域的能力会出现“爆发式增长”，整体上呈现出一种有趣的锯齿状性能特征：它们可以同时是博学的天才，也是困惑的、认知能力受限的小学生，甚至可能在下一秒钟就被一个越狱攻击欺骗而泄露你的数据。

▲人类智能：蓝色；AI智能：红色。我喜欢这个版本的梗图，因为它揭示了人类智能同样也有其自身不同的“锯齿状”能力。抱歉我找不到它在社交平台X上的原帖出处。

与此相关的是，2025年，我对基准测试普遍感到漠视与信任丧失。核心问题在于，基准测试几乎天生就是可验证的环境，因此极易受到RLVR或通过合成数据生成等较弱形式的影响。在典型的“刷分”过程中，大模型的实验室团队不可避免地会构建接近基准测试所处嵌入空间微小区域的训练环境，并催生出针对性的能力锯齿来覆盖这些区域。如今，针对测试集的训练已经成为一门新的“艺术”。

如果碾压所有基准测试却仍然无法实现通用人工智能（AGI），那会是什么景象？

关于这一主题，我在以下文章中展开了更多讨论：《动物vs幽灵（Animals vs. Ghosts）》《可验证性（Verifiability）》《心智空间（The Space of Minds）》。

三、Cursor：新的大模型应用层

除了Cursor今年的飞速崛起之外，这家企业最引人关注的是，它有力揭示了一个全新的大模型应用层级，人们开始谈论“某领域的Cursor模式”。正如我在今年的Y Combinator演讲中强调的那样，像Cursor这样的大模型，核心价值在于针对特定垂直领域捆绑和组织大模型调用，具体有以下几点：

1、它们负责处理“上下文工程”；

2、它们在幕后编排多个大模型调用，串联成日益复杂的有向无环图（DAG），能仔细权衡性能和成本；

3、它们为人工介入提供特定应用场景的图形用户界面；

4、它们提供一个“自主程度调节滑块”，灵活控制AI自主决策的权限范围。

2025年，关于这个新应用层“厚度”的讨论很多，如大模型实验室会通吃所有应用场景，还是垂直领域的大模型应用有其广阔的天地？我个人认为，大模型实验室倾向于培养“通识能力强的大学生”式模型，而大模型应用则通过提供私有数据、传感器、执行器和反馈循环，将这些通才组织、微调并激活为特定垂直领域可实际部署的“专业团队”。

四、Claude Code：运行在你的电脑上的AI

Claude Code首次令人信服地展示了大模型智能体的形态，它通过循环方式串联工具使用和推理，实现持续的问题解决。此外，Claude Code的显著特点在于它运行在你的电脑上，调用你的私人环境、数据和上下文。

我认为OpenAI在这方面判断有误，因为他们早期的Codex/智能体工作重点放在了从ChatGPT编排的云端容器部署，而不是简单的本地运行。尽管在云端运行的智能体集群感觉像是AGI的终极形态，但我们身处一个发展渐进、变革速度有限的世界，能力分布仍呈锯齿状，因此直接在开发者的电脑上运行智能体更为合理。

关键区别并不在于“AI运算”发生在何处（云端或者本地），而在于其他一切：已经存在且已启动的计算机、其安装环境、上下文、数据、密钥、配置以及低延迟交互。Anthropic把优先顺序处理得很正确，将Claude Code封装成一种简洁优雅的命令行界面形式，从而改变了AI的模样：它不再只是一个像谷歌那样需要访问的网站，而是一个居住在你电脑中的小型精灵/幽灵。这是一种与AI交互的新颖、独特的范式。

五、Vibe Coding

2025年，AI跨过了一个能力临界点，使得仅通过自然语言描述就能构建各类令人惊叹的程序成为可能，人们甚至无需在意代码的存在。有趣的是，我曾在一条随手发布的推文中创造了“Vibe Coding”这个词，当时完全没有想到它会发展至此。

通过Vibe Coding，写代码不再严格局限于受过高度训练的专业人士，而是任何人都可以做的事情。从这个角度看，它正是我在《技术平权：大模型如何重塑技术扩散模式（Power to the people: How LLMs flip the script on technology diffusion）》一文中提到的又一个例证，与迄今为止所有其他技术截然不同，普通人从大模型中获得的益处远超专业人士、企业和政府。

Vibe Coding不仅赋能普通人接触编程，更让专业开发者能轻松编写大量通过Vibe Coding实现的软件，而这些软件原本是永远不会被创造出来的。例如在开发nanochat项目中，我就通过Vibe Coding用Rust自研了一套高效BPE分词器，无需依赖现有库或深入钻研Rust。我今年还用Vibe Coding创造了许多项目，并快速实现了许多创意原型，例如 menugen、llm-council、reader3、HN time capsule等。我甚至通过Vibe Coding编写了整套临时应用程序，就为了找到一个bug。代码突然间变得免费、短暂、可塑、用后即弃。Vibe Coding将重塑软件生态与职业定义。

六、Nano Banana：大模型的图形用户界面（GUI）

谷歌Gemini Nano Banana是2025年最令人难以置信、最具范式转移意义的模型之一。在我看来，大模型是类似20世纪70-80年代的全新计算范式，因此我们将看到基于相似逻辑的创新涌现，例如个人计算、微控制器（认知核心）、智能体互联网等对应形态。特别是在用户界面/用户体验上，当前与大模型“聊天”有点像上世纪80年代向计算机终端输入指令。

文本是计算机（和大模型）偏爱的数据形式，但它不是人们偏爱的格式，尤其是在输入上。人们其实不喜欢阅读文字，因为它很慢而且费力。相反，人们喜欢以视觉和空间的方式接受信息，这正是传统计算中图形界面诞生的原因。同样地，大模型应以我们喜爱的方式输出信息——如图像、信息图、幻灯片、白板、动画/视频、网页应用等。早期的实现形式包括表情符号和Markdown（轻量级文本标注语言），它们通过标题、加粗、列表、表格等方式“装扮”文本以提升可读性。

但究竟谁来构建大模型的图形用户界面呢？Nano Banana为此提供了第一个雏形。关键在于，它不仅涉及图像生成能力，更融合了文本生成、图像创作与世界知识，这些能力交织于模型权重之中，形成复合型智能。

七、结语

总而言之，2025年是大模型令人兴奋又略带惊喜的一年。大模型正在演化成一种新型智能，既比我预期的聪明得多，又比我预期的笨拙得多。无论如何，它们非常有用，而我认为行业至今尚未发掘出当前能力潜力的10%。与此同时，这个领域依然充满尝试空间与开放性概念。正如今年早些时候我在Dwarkesh播客中提到的：“我同时持有两种看似矛盾的观点：一方面相信进展将持续加速，另一方面认为仍有大量基础工作亟待完成。”系好安全带，迎接变革。