北京
一位中国顶尖预训练研究员，听到OpenAI的普通研究员可以随时调用相当于5000张H100的算力时，「下巴都快惊掉了」。
这个细节来自AI研究员、非营利实验室Trillium创办者Nathan Lambert与a16z合伙人Lisha Li的一场对谈。两人讨论的核心问题是：中国的模型实验室，是不是只靠蒸馏在缩小与前沿的差距。
Lambert的答案是否定的。他把模型进步归结为三种资本：算力、数据、人才。在他看来，中国实验室的人才储备与美国相当，最大的短板是算力。
「要说中国的人才水平不在同一个档，是你很难说得通，因为他们有那么多人接受了那么高水平的培养。他们缺的是算力。」
这个判断也解释了他对蒸馏的看法。蒸馏之所以有用，本质是用金钱换到等价于算力的输出。算力瓶颈，比人才差距更能解释中国实验室的处境与追赶方式。
蒸馏被高估了
把开放模型的进步简单归因于蒸馏，在Lambert看来与公开证据不符。
过去后训练主要依赖监督微调，拿到最强模型的输出与推理过程做训练，就能显著提升性能。但当前训练已转向以强化学习环境和推理训练为主，教师模型这一步在公开研究里始终难以复现。
他认为公开文献只能支持「蒸馏或许节省几个月」这种低置信度的估计，无法支持蒸馏是主因的结论。这个说法也忽略了中国团队本身的模型能力。
「蒸馏在当前后训练中的作用并没有那么大，而且中国人做模型的水平也非常高。」
至于差距究竟来自哪里，他的判断是数据。「但实际上可能两方面都有一点，不过很大一部分还是归结于数据。」
开放模型缺的不是能力，是经济体系
市场结构上，闭源前沿实验室把预训练、推理与产品整合得很紧，能提前规划资源与算力，率先进入编程等高价值市场。
开放模型一侧则是公司、推理服务商与后训练客户分层，信息流与收入流难以顺畅回流到模型开发者，规模效应与推理业务利润率都更低。
Lambert的推演是，最终可能形成「最好的闭源模型拿最高利润率、接近前沿的模型开放」的层次。只有等能力变成标准化、普遍可得的东西，企业才愿意把数据和模型留在自己手里，这个过程可能要以年计。
数据与强化学习环境被视为未来数年的关键投入。数学、编程等结果易验证的领域主要靠强化学习；生物、医疗、法律等难以验证的领域，更依赖购买高质量数据，以及搭建能让模型反复尝试、采取行动的环境。环境相关研究预算已达数十亿美元。
但行业仍处早期：外包人员泄露数据、奖励作弊、质量参差普遍存在。实验室也正把部分数据工作收回内部，以避免数据与意图外泄。
更该担心的是准备不足
对于递归自我改进（RSI），Lambert认为被过度神秘化了。缩放定律是算力指数级投入换来性能线性提升，模型并不能自行构建模型，近期更像是靠巨大的推理投入维持进步速度，AI研究能力参差不齐、部分工作仍难以自动化。
受算力指数增长制约，前沿实验室难以靠模型自我构建实现快速起飞。为了让研究者与政策制定者能校准判断，他计划让Trillium公开训练技术栈、任务配置与模型执行轨迹。
「AI能力的增长曲线本身不一定让我担心，但看看AI能力的增长曲线，再看看公共网络安全等各方面几乎没有做什么准备。」
在他看来，社会对网络安全等既有风险几乎没有准备，比能力曲线本身突然失控更值得担心。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
