AI“大力出奇迹”的时代，还能走多久

本文来自微信公众号： HavenlonLabs ，作者：HavenlonLabs

当"大"的定义开始改变

AI"大力出奇迹"的时代，还能走多久

过去几年，人工智能产业最有效、也最昂贵的方法论，可以被概括成一句并不严谨却颇为传神的话——大力出奇迹。

增加参数、扩大数据、投入更多算力，模型的语言能力、知识覆盖与任务表现通常会随之改善。

这并非单纯的行业信仰。2020年，OpenAI研究者发表的《Scaling Laws for Neural Language Models》显示，语言模型的损失会随着模型规模、数据规模与训练计算量的增长，呈现相对稳定的幂律下降。换言之，在一定范围内，投入与能力之间存在可被预测的关系。

这种可预测性，给产业带来了此前罕见的确定性。一家公司不必先回答"智能究竟是什么"，也不必完整破解人类推理的机制，只需持续加大投入，然后观察曲线是否继续向下。

事实证明，这条路径在相当长的时间里是有效的。从语言生成、代码编写，到图像理解与复杂推理，越来越多原本需要分别设计的能力，开始集中出现在同一类基础模型中。

但当模型进入万亿参数量级、数据中心投资持续攀升、推理成本开始成为损益表上的固定项，一个问题变得越来越现实：这条路径还能走多久？

答案可能既不是"很快终结"，也不是"永远有效"。更接近事实的描述是：规模仍在扩张，但扩张的对象正在改变。

Scaling并没有消失。正在退场的，是"只把模型做大"的那个版本。

一、"大"从来不只是参数

人们通常把大模型中的"大"理解为参数数量。这种理解不算错误，但容易忽略一个事实：能力的增长从来不是单一变量的结果。

参数决定模型能容纳多复杂的模式，数据决定模型能观察到什么，算力决定模型能从数据中学到什么程度，训练方法则决定有限资源能否被有效利用。真正意义上的Scaling，是这些变量的同步扩大与重新配平——包括模型容量、训练数据、计算资源、训练时长、后训练过程、推理阶段投入的算力，以及来自外部工具与环境的反馈。

2022年，DeepMind的Chinchilla研究提供了一个反直觉的证据：在相同训练计算预算下，700亿参数、但使用了数倍数据训练的Chinchilla，整体表现超过了2800亿参数的Gopher。研究结论是，当计算预算固定时，参数与数据应当更均衡地扩大。

这意味着，即便在"大力出奇迹"最典型的阶段，行业真正学到的也不是"越大越好"。

规模是有效的，但规模必须被正确配置。

这一点在今天更加明显。在专家混合（MoE）架构下，模型可以拥有极为庞大的总参数量，却在每次生成时只激活其中一部分。总参数代表整体容量，并不等于单次推理实际动用的计算量。参数依然重要，但它已经无法单独说明一个模型有多强、成本有多高，以及能否进入商业场景。

二、幂律本身就写着"收益递减"

"大力出奇迹"容易让人产生一种错觉：投入翻倍，能力也会翻倍。

尺度定律从未作出这样的承诺。恰恰相反，幂律关系通常意味着，每获得同等幅度的性能改善，所需资源会越来越多。

因此，Scaling Law可以同时支持两个看似矛盾的判断：继续扩大规模，模型通常还会进步；而继续获得进步，成本会持续上升。

在模型能力较弱的早期，一次规模扩张可能带来肉眼可见的跃迁——从无法连贯生成长文，到能够完成摘要、翻译、编程与问答，用户可以直接感受到代际差异。

当基础能力已经具备之后，进一步扩大规模所带来的改善，往往表现为另一种形态：在少数高难任务上提高准确率、更稳定地处理长任务、减少部分幻觉、提高工具调用成功率、在复杂代码与数学问题上多推进几步，以及把"偶尔能做到"变成"可以依赖"。

这些改善依然有价值，甚至可能直接决定模型能否进入企业核心流程。但它们不像早期跨代那样容易被普通用户感知。

所以，行业面对的未必是一堵突然出现的"Scaling之墙"，而更像一条越来越陡的成本曲线。

限制"大力出奇迹"的，未必是模型不再进步，而是每一点进步是否还值得对应的代价。

三、问题正在从"能不能更强"转向"值不值得更强"

对前沿实验室而言，只要能力仍在增长，继续投入就具备战略意义。最强模型不只是产品，也是人才、资本、算力与生态位的集中体现。

但对大多数使用AI的企业，判断标准完全不同。客服系统中的地址确认、知识库中的文档检索、财务流程中的字段提取、固定规则下的工单分类，都未必需要动用成本最高的前沿模型。

产业实践中，一种分层结构正在成型：简单任务交给更小、更便宜的模型；复杂任务才调用能力更强、成本更高的模型；确定性任务则尽可能交还给传统程序、缓存与规则系统。

需求侧的变化同样清晰。亚马逊在重构Alexa+时采用了所谓"模型无关"的架构，按查询逐条选择合适的模型；相关报道指出，这种"模型混合"的做法在开发者中日益普遍，动机之一正是控制成本。

这不是对大模型路线的否定，而是其商业化的必然阶段。云计算走过类似路径：企业最初关心能否获得更多计算资源，后来才转向实例类型、资源调度与单位任务成本。

实验室追求能力上限，企业追求单位成本下的可靠结果。二者并不矛盾，却会形成两套不同的Scaling逻辑。

四、算力正在从训练迁移到推理

如果扩大参数与数据的边际收益下降，AI是否就会停止进步？目前看，答案是否定的。

产业正在把更多计算，从训练阶段转移到回答问题的阶段。

传统语言模型通常一次性生成答案。而推理型模型可以在遇到复杂问题时消耗更多计算：尝试多条路径、检查中间结果、调用验证器、根据反馈修正答案。这一方式通常被称为测试时计算（test-time compute）。

它的实质，是模型不再对所有问题使用相同资源。简单问题快速作答；一道复杂数学题、一次大型代码改动或一项多步骤规划，则可以获得更长的思考时间与更高的计算预算。

已有研究表明，合理增加测试时计算，可以在部分任务上明显改善表现。但同一批研究也提醒，这种增益并非无条件成立——采用何种搜索策略、验证器是否可靠、如何依据难度分配算力，都会显著影响最终收益。并行采样加评分模型筛选，是目前较常见的一种实现路径。

这代表"大力"发生了一次迁移：过去主要投在训练一个更大的模型，如今也可以投在让现有模型对某个具体问题想得更久。

两者的商业含义完全不同。训练投入必须在模型发布前一次性完成；推理投入则可以按用户、任务与价值动态分配。

未来的AI产品，可能不只按"使用哪个模型"计价，也会按"这个问题值得思考多久"计价。

五、数据瓶颈不会终结Scaling，但会改变它

以往的模型扩张，很大程度上建立在互联网既有的文本、图像与代码之上。但公开互联网中的高质量数据并非无限。

当容易获取的数据已被反复使用，继续扩大训练规模会遇到几重约束：新增数据质量下降、重复内容增加、模型更容易接触到由其他模型生成的内容，以及专业领域的高质量数据本就稀缺、昂贵，并受权限与合规限制。

Anthropic关于重复数据的研究发现，数据重复并非总是无害——在特定的重复比例区间，甚至可能造成明显的性能退化。

因此，下一阶段的数据竞争，很可能不再是"谁拥有更多文本"，而是：谁能获得更可靠的数据，谁能组织专家反馈，谁能从真实环境中拿到任务结果，谁能生成并筛选高质量合成数据，谁能判断一段数据究竟教会了模型什么，以及谁能在数据、训练与应用反馈之间建立闭环。

原始互联网内容是一种存量资源，真实任务反馈则是持续产生的增量资源。但拥有更多用户，并不自动等于拥有更好的模型——只有当用户行为能够转化为合法、准确、有结构的信号，才可能成为改进的基础。

下一阶段最稀缺的或许不是数据本身，而是能够证明"哪个答案更好"的反馈。

六、最大的模型，未必是参数最多的模型

当模型逐渐学会调用搜索、代码环境、数据库、企业软件乃至其他模型，"模型能力"与"系统能力"之间的边界开始模糊。

一个参数相对较小的模型，如果能够找到正确资料、调用可靠工具、保存长期记忆、拆解复杂任务、检查执行结果、在失败后重新规划，其在真实任务中的表现，可能超过一个参数更大、却只能独立生成文本的模型。

因此，产业仍会追求规模，但规模的对象正在变化。它可能不再只是一个越来越大的神经网络，而是一套分工明确的系统：基础模型负责理解与生成，推理机制负责分配计算，检索系统负责获取外部知识，工具层负责与数字世界交互，专业模型处理特定领域，验证机制负责核查结果，权限与控制系统决定哪些动作可以真正发生。

这与计算产业从追求单核主频，转向多核、专用芯片与分布式架构的过程有相似之处。CPU主频并未停止提高，只是不再是衡量系统能力的唯一指标。

七、三个阶段，而非一个终点

认为Scaling即将彻底失效，可能过于武断。已有研究仍显示模型、数据、算力与性能之间存在相对稳定的关系；近年的新工作也在改进尺度定律的预测方法——对于耗资巨大的训练项目而言，能否用小规模实验预测大规模结果，本身已是关键基础设施。

但认为可以永远依靠无限增加参数获得同等幅度的惊喜，同样不现实。能源、芯片、数据、资本与工程复杂度都会形成约束，而市场最终衡量的不是参数，而是问题是否被解决。

一个可能的框架是把"大力出奇迹"看作三个递进阶段：

第一阶段，参数规模化。通过扩大参数、数据与训练算力，证明通用能力可以从大规模学习中涌现。

第二阶段，计算配置化。重新分配预训练、后训练与推理之间的资源，借助MoE、测试时计算、数据优化与模型压缩，提高单位计算的产出。

第三阶段，系统规模化。模型与检索、工具、智能体、验证器、专业模型和真实执行环境结合。竞争不再只看谁训练了最大的模型，而看谁能把智能组织成稳定、经济且可控的系统。

下一场规模竞赛，不只是把一个模型做得更大，而是把有限的智能放到最需要它的位置。

结语：终点不是模型停止变大

那么，"大力出奇迹"还能走多久？

它可能还会持续相当长的时间。只要增加计算仍能提高能力，资本与算力就会继续向前沿集中；总参数可能继续增长，数据中心仍会扩张，推理阶段消耗的算力甚至可能超过训练阶段。

真正接近尾声的，是把"大"单纯理解为参数数量的那个时代。

未来人们会越来越少地追问"这个模型有多少参数"，转而关心：它每次实际激活多少参数？训练使用了怎样的数据？完成一个任务的成本是多少？复杂问题能否通过追加推理预算获得更好结果？它能否调用正确的工具、在真实环境中稳定交付？企业能否控制它最终产生的影响？

当这些问题成为主流，Scaling就不再是一场单纯的军备竞赛，而更接近一门资源配置的学问。

参数仍会增长，算力仍会增长，数据中心仍会扩张。只是决定竞争力的，不再是投入了多少"大力"，而是能否把参数、数据、算力、工具与反馈组织成有效能力。

"大力出奇迹"不会消失。会消失的，是"只要足够大，就不必回答效率、可靠性与商业价值"的那个时代。

AI的发展不会从规模退回小规模，也不会简单地从大模型退回传统软件。它更可能进入一个新阶段：模型继续变大，但系统比模型更大；算力继续增加，但计算开始按任务分配；能力继续提高，而成本、可靠性与可控性拥有同等重要的位置。

Scaling仍是AI进步的重要动力。只是下一轮"奇迹"，未必来自更多参数本身，而可能来自人们终于学会，如何更有效地使用已经拥有的规模。

本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 tougao@huxiu.com。

本文来自虎嗅，原文链接：https://www.huxiu.com/article/4878177.html?f=wyxwapp