高维世界里，总有一个方向的导数大于零

来源：市场资讯

（来源：可遥笔记）

苏炜杰今年五月底从沃顿休假，去了 OpenAI 做模型训练。他是北大数院 2007 级第一名，斯坦福统计博士，今年拿了统计学界给四十岁以下学者的最高奖。最近他做了一次长谈，其中解释 scaling law 为什么成立的一段，是我近年读到的关于这个问题最干净的说法。

所谓 scaling，无非是找到一个变量，模型能力对它的导数大于零，然后不停加大这个变量。参数是一个变量，数据是一个变量，推理时多算一会儿也是一个变量。模型是一个极高维的函数，所有变量的导数同时为零，概率非常小，总能找到一个方向继续往上爬。他补了一句，这是历史经验，算不上定理。他还说这像量化投资里找 alpha 因子。

换成白话是这样。一个模型的能力，取决于成千上万个可以调的东西，模型多大、喂多少文本、文本从哪里来、训练多久、回答之前让它想多久、让不让它用工具、用什么方法给它打分。每一样都像一个旋钮。拧动某一个旋钮，能力可能上升，可能不动，也可能下降。所谓撞墙，意思是拧哪个旋钮都不再有用。要让这件事发生，得所有旋钮同时失效。只有三个旋钮的时候，这不难碰上。有一万个旋钮，几乎不可能。互联网上的文本喂完了，只是其中一个旋钮拧到了头，别的旋钮还在原位。有人转过身去拧另一个，比如让模型回答前多想一会儿，能力接着涨，外面看起来曲线没有断。曲线连续，靠的是接力，跑的人换了好几拨。

苏炜杰的谨慎也在这里。旋钮多，不等于每个都好找，也不等于拧起来便宜。找到下一个旋钮要靠人，拧动它要靠钱。这个说法解释的是为什么墙不容易出现，没有承诺墙永远不出现。

过去两年关于 scaling law 的争论，大多停留在一条曲线上。信的人把 log-log 图上的直线往右延伸，不信的人指着互联网数据快用完了说墙就在前面。苏炜杰换了坐标系。一条轴上的斜率归零，只说明这条轴走到了头，说明不了整个函数到了顶。2024 年秋天很多人觉得预训练撞墙，o1 同期把推理时算力做成了一条新轴。他还说数据本来就不是单一变量，同样规模的两份数据，信息密度、任务结构、长尾覆盖、可验证性可以完全不同，scaling law 在一份数据上成立，在另一份上未必。

用这个框架回头看三条更老的曲线，差别在维度。

半导体是一维的。1965 年到 2005 年，行业只做一件事，把晶体管做小。Dennard 缩放保证做小之后频率自动提高、功耗自动不变，一条轴上三个好处同时兑现。轴只有一条，方向人人看得见，所以行业能从 1991 年起编制公开路线图，几百家公司对着同一张十五年的表投资，每一代需要四十种设备同时就位。Moore 晚年说摩尔定律其实是经济学，是自我实现的预言，指的就是这种协调。一维的代价在 2005 年显出来，漏电流把频率卡在 4GHz，这条轴断了。行业换轴，单核变多核，通用核旁边加 GPU，平面缩不动就往上叠，大芯片切成小芯片再封装。换轴是一次离散事件，痛苦而且肉眼可见。

光伏大约十几维。组件价格从 1976 年到 2019 年降了 99.6%，累计装机每翻一倍降 20%。MIT 的 Trancik 团队把这条曲线拆开，成本模型里有转换效率、硅片厚度、多晶硅价格、良率、工厂规模等十来个变量。1980 到 2012 年，效率贡献了近四分之一，硅片尺寸和良率各占约一成，2001 年以后规模经济接近研发的贡献。每条轴都有物理上限，单结硅电池效率理论顶点不到三成，硅片薄到一定程度会碎。它们各自走到头，但从不同时走到头，加总出来就是 log-log 图上那条四十年的直线。Wright 定律的 20%，是十几个偏导数的表观和。

电池的维度高一些，因为化学空间是组合的。钴酸锂到三元再到磷酸铁锂，每换一种正极就是一条新轴。Trancik 团队的另一篇拆解发现，商业化二十年后，超过一半的降本仍来自研发，主要是正极化学和材料。目标函数也开始不单一，每千瓦时价格之外还有能量密度、循环寿命、安全性，同一年里 LFP 和 NMC 走的是两条平行的线。

大模型和这三条曲线的差别，有四处。

一是维度不封顶。半导体一条轴，光伏十几条，电池几十条，都数得清。大模型的变量是自己长出来的，架构、优化器、数据配比、数据质量、强化学习、推理时算力、工具调用、合成数据，每一项底下还能再拆。苏炜杰说数据不是单一变量，同样的话对每条轴都成立。数得清的空间里换轴是事件，数不清的空间里换轴是常态。

二是纵轴会动。每瓦美元和每美元晶体管数，四五十年没有换过定义。大模型的损失函数定义清楚，但没有人为损失付钱，人付钱的是"能力"，而能力的定义每年都变。苏炜杰说普通对话已经饱和，增益来自复杂环境里困难任务的鲁棒性。光伏从来不需要重新定义什么叫便宜。

三是地板不同。硅电池效率的上限是热力学给的，晶体管的下限是原子给的，撞上去就是撞上去。大模型的地板是数据的不可约熵，没人知道在哪里。推理时算力这条轴看不到物理上限，只有电费和资本开支的经济上限。

四是回路。光伏板不生产多晶硅，芯片不设计下一代芯片。大模型生产自己的训练数据，也在替研究者写代码。苏炜杰说去年很多公司一年出一两代，现在三个月一轮，编程 agent 把研发的摩擦降下去了。搜索空间在扩大的同时，搜索速度也在加快，物理技术没有过这种回路。回路也有另一面，他提到合成数据不加外部信息反复用，系统封闭，熵增退化。

维度高，曲线就平滑，撞墙这个词失去大部分意义。维度高，也意味着没有路线图。ITRS 每年公布十五年的表，前沿实验室什么都不公布，协调靠资本和人的流动，苏炜杰本人就是这种流动的一个样本。

三条老曲线还留下一个问题，导数归谁。光伏组件是商品，Swanson 定律 2008 到 2013 年一天没有失效，尚德、赛维、Q-Cells 在同一段时间里倒下，2011 年组件价格腰斩，产能和存货按旧价建的公司账上先死。晶圆代工相反，台积电和 ASML 把换轴能力握在手里，每次换轴门槛就抬高一次。电池在中间，宁德时代吃到正极化学那条轴，二线厂吃到价格战。大模型现在两边都像。输出端，同等能力的 token 价格三年降了一千倍，GPT-4 水平的价格从 2023 年到现在降了六十多倍，这是光伏组件的曲线。输入端，算力握在英伟达和台积电手里，这是半导体的曲线。曲线继续和谁赚到钱，从来是两个问题。

苏炜杰留了一个他自己也没答案的问题。AI 引擎铺开以后，世界产生数据的速度超过历史上任何时期，这些新数据的智力密度能不能撑住模型往上走，他说需要实证研究。这是下一条轴的问题。上一条轴的斜率，我们已经知道了。