对话杨红霞：从阿里字节到创业，她要让大模型走向“去中心化”

如果重新回到做阿里达摩院M6大模型（千问前身）的时候，杨红霞仍然会选择Scaling Law（缩放定律），而且会“做得更彻底”。

“我们2019年就开始探索大模型和关键架构；如果当时有足够资源和决心持续Scale Up（规模化放大），或许我们有机会成为中国的OpenAI。”杨红霞告诉信睿科技评论。

这多少有些反直觉。过去几年，当越来越多人开始讨论Scaling Law 是否已经触及瓶颈时，作为这条技术路线的亲历者，杨红霞并不认为“把模型做大”已经走到尽头。

在她看来，GPT-4的突破恰恰证明了Scaling（规模扩展）的力量，问题只是，今天能够被继续扩展的东西正在发生变化。一个越来越现实的瓶颈是：数据无法被无限集中。

过去的大模型主要从互联网中学习。代码、数学、文本、图像和视频可以被大规模收集到数据中心，再用成千上万张GPU（图形处理器）训练一个越来越大的通用模型。但真正进入医疗、制造、金融、能源等行业后，大量最有价值的数据并不存在于公开互联网，而是沉淀在医院、工厂、政府机构和企业内部。这些数据不仅难以获取，很多时候也根本不能离开本地。

“中心化大模型进化很快，但如果没有领域数据和知识，再强的模型在专业场景中也会受限。”杨红霞指出，智能体（Agent）、检索增强生成（RAG）能缓解这一问题，但闭源模型存在数据隐私和主权问题，开源模型则面临效果、成本和部署门槛。

因此，更根本的方向是让企业用自己的数据训练自己的领域模型：模型可以很小，却能在特定领域超越中心化大模型，同时在数据隐私、成本和效率上获得显著优势。

真正改变各行各业的，最终也不会只是今天这批做 AI 的公司，一定是各行各业的企业自己。因为它们既拥有行业的数据，也是对应行业的专家。这成为她近年来思考的一个核心问题：如果数据不能集中，AI还能怎么继续Scaling？

杨红霞是中心化大模型浪潮的亲历者。她本科毕业于南开大学数学学院，后赴杜克大学攻读博士，职业生涯先后辗转中美科技公司工作近15年。她曾担任IBM TJ Watson研究中心研究员、雅虎首席科学家、阿里巴巴达摩院人工智能科学家、及字节跳动美国公司的大型语言模型负责人。曾参与并主导多个大模型项目，M6大模型是其早期代表性工作之一，后来又参与搭建字节跳动豆包基础模型团队。

如今，她担任香港理工大学人工智能高等研究院执行院长、讲席教授，同时创立面向企业与主权AI的新一代AI基础设施公司InfiX.ai。相比继续训练一个更大的中心化通用模型，她和团队选择了另一个方向：让企业和机构能够利用自己的数据，在本地训练自己的模型。

放眼全球，由前OpenAI CTO Mira Murati创立的AI模型与定制化平台公司Thinking Machines Lab和Transformer作者之一Llion Jones创立的AI研究与行业应用公司Sakana.ai也在做类似的分布式生成式AI。

这背后涉及两个相互关联的问题。第一个是如何让训练大模型不再只是少数巨头的“有钱游戏”。InfiX将低比特训练作为核心技术方向之一，希望通过 FP8、FP4 等低精度训练降低模型对算力和存储资源的需求，使百亿甚至千亿参数级领域模型能够以更低成本在企业本地完成训练。

第二个问题更难：数据不能流动，知识和智慧能不能流动？

杨红霞团队正在探索模型融合。它不要求不同医院、企业或机构把原始数据集中到一起，而是先让各自在本地数据上训练领域模型，再尝试将不同模型中已经学习到的能力汇聚起来。杨红霞把它称为“协作生成式人工智能（Co-GenAI）”，也是她所理解的去中心化生成式 AI。

这并不意味着她否定 Scaling Law。恰恰相反，她认为这可能是在寻找另一种 Scaling。从这个角度看，她从大厂走向创业，并不是从“做大模型”转向“不做大模型”，而是把过去20多年不断遇到的那个问题推到了新的阶段：当模型越来越大、算力越来越集中，而真正有价值的数据散落在现实世界的各个角落，AI究竟应该如何继续向前？

近期，信睿科技评论与杨红霞进行了一次深入对话。从M6和Scaling Law，到FP8、FP4低比特训练，再到模型融合、主权AI和去中心化生成式AI，我们试图讨论一个比“下一个模型还能做多大”更现实的问题：如果下一轮AI革命真正发生在各行各业，谁来让这些行业拥有训练自己模型的能力？

以下是我们与杨红霞的对话，经编辑和整理：

从大厂到创业

为什么大模型一定会走向去中心化？

Q：你从IBM、雅虎，到阿里、字节，再到香港理工和自己创业，如果回头看这二十年，你觉得自己一直在追的核心问题是什么？

杨红霞：我认为，核心问题其实非常朴素。我本科毕业于南开大学数学学院，后赴杜克大学读博，导师David Dunson教授同时担任统计、数学及机器学习三个系的教授，也是考普斯会长奖（COPSS Presidents’ Award，统计学领域的“诺贝尔奖”）得主。因此，我从读博期间便开始跨界从事统计与机器学习结合的研究。

博士毕业后，我加入IBM T.J. Watson研究中心，主要从事机器学习研发。在IBM约四年，正值2014年前后互联网爆发时期，在美国迅速兴起计算广告、推荐系统、搜索引擎等领域。

随后我前往湾区，投身于更复杂的实际问题。在湾区及雅虎期间，我经历了互联网从传统机器学习迈向深度学习的转型。一个显著的对比是，2010年我的博士论文方向为非参数贝叶斯建模，参数规模约几万至几十万，当时已称为“超高维”。但随着互联网兴起，卷积神经网络（CNN）、深度学习等模型陆续上线，参数规模迅速攀升至数百万甚至上千万，直接扩大了十倍乃至百倍。

与此同时，国内的技术也在蓬勃发展，我回国加入阿里，初期负责数据和推荐系统，即今天淘宝的推荐引擎。

Q：后来你又经历了哪些关键的技术转折，并形成了怎样的判断？

杨红霞：2019年，我们注意到Transformer的影响。谷歌搜索引擎上线Transformer后，效果提升极为显著，约10%到30%。要知道，在以往的经验中，优化能提升几个百分点已属不易，而BERT上线后提升尤为突出。

2020年底，谷歌CEO Sundar Pichai正式宣布所有搜索引擎转向以BERT为主。我当时感受到了技术的强大潜力。2022年ChatGPT发布，GPT-4确立的范式最终“一统江湖”。

我曾先后在阿里和字节参与并主导两次中心化大模型研发。同时我也越来越意识到，生成式AI仍是少数“富人的游戏”，行业还缺少像Linux、Kubernetes一样的基础设施，让每个企业和机构都能低成本、快速地构建自己的大模型。 更重要的是，数据无法做到中心化。因此，我判断大模型从中心化走向去中心化是必然趋势。

类比计算机刚出现时候的IBM大型机，占地庞大且可编程者极少，今天做大模型的情形亦然——真正从事核心研发的只有极少数人。以大厂为例，两千人的AI团队中，真正从事核心模型研发的可能只有百余人，大量人才仍集中在数据处理和应用落地。而今天手机本身是一种去中心化计算机，例如用户打字、拖拽各种APP、做各种操作，其实都是在编程，只不过由于交互做得太好了，不需要用户真正意义上进行写代码编程，大模型也是同样的道理。

我相信大模型中心化一定会带来的技术上的巨大突破，并且这波大模型将是一场技术革命——各行各业、每个人的生活一定会被它彻底颠覆，智能也必然从中心化走向去中心化。

我觉得我一直是在被驱动去解决很复杂的问题、真实的问题，随着技术和行业的不断迭代更新，我们会遇到越来越多新的任务、新的复杂性。

Q：领域曾一度认为Scaling Law是必然方向。你在阿里做M6的时候，本身就是大模型Scaling路线的亲历者。你是什么时候开始认为，训练更大通用模型这条路值得反思的？如果今天重新做一次M6，你还会选择当时那条不断扩大模型规模的路线吗？

杨红霞：当时我们在做M6阶段，我认为做得不够彻底，根本原因在于资源有限。GPT-4之所以突破，是因为坚定走Scaling Law路线，而我们受限于算力和数据量，只能在有限卡数上尝试。

Scaling Law涉及数据、算力与模型参数三个维度。因此如果仅提升参数规模，而算力和数据未跟上，只能验证一定突破，无法实现GPT-4那样的根本性突破。

如果再回到M6时代，我仍会坚持这条路，但应该做得更彻底。现在，我仍然认为Scaling Law应继续推进，并不是这个方向“已死”。但实际上，面对数据无法全球集中的现实，去中心化领域模型是在探索另一维度的Scaling Law：如何在数据无法集中的前提下，从模型层面解决这一问题。

Q：你曾在大厂工作，如今是创业者，不同身份的关注点有何不同？

杨红霞：在我看来，无论在大厂还是创业，核心都是解决技术问题。在AI创业中，如果技术薄弱，例如仅做套壳的Agent，有可能赚快钱但终将面临被淘汰的局面。我们创业的技术无法“抄作业”，因为低比特FP4训练框架、上万模型的融合等难题尚无现成方案，因此我们始终致力于技术的极致研发。

我在大厂工作近15年，深知其资金、数据和人才优势明显。但创业公司更为扁平，减少了流程消耗，执行力更强。OpenAI早期以及DeepSeek的实践都说明，人数并不是决定大模型研发效率的唯一因素，精简团队同样可能具备独特优势。

Q：在你看来，企业应用大模型的最大障碍是什么？是模型能力、成本、数据隐私，还是不知如何落地？

杨红霞：过去互联网时代是云原生（Cloud Native），创业或开发APP可依托完善的云基础设施，如Kubernetes或Linux操作系统，都可以方便帮助做应用的研发和扩展。有了云基础设施，做好应用，可以非常容易地Scale Up，包括服务大量用户以及提升流量。

但是回到今天的大模型，如果企业想训练自己的制造业或能源基础模型，却缺少类似Kubernetes或Linux操作系统这样的“脚手架”。现有训练框架多由大厂主导，企业只能调用其API（应用程序编程接口），由于涉及成本与数据隐私问题，银行、金融、政府等领域难以实现将数据上传云端。

我们正在构建的产品，不只是做模型，还涵盖了基础设施、平台和模型的完整方案。举例来说，AI数据中心基于FP16算子精度计算得到的算力为5000PFlops（每秒千万亿次浮点运算），若采用我们的FP8方案理论上限可达1万PFlops。我们还提供All-in-One Machine（如类似NVL72的高密机柜），支持本地化训练且数据不出域。旨在提供这样的“脚手架”，使企业能像云原生一样，便捷地开发自己的AI原生产品。

把训练成本打下来

为什么不只是省钱？

Q：过去大家谈低比特，更多是在模型训练完以后压缩推理成本。我们应该如何从本质上去理解，FP8节省的核心是什么？

杨红霞：无论FP16、FP8还是FP4，本质上都是用不同位宽表示数值的浮点格式。位宽越低，理论上占用的存储，计算资源和通信量都会成倍减少，但同时也更容易带来数值精度损失

现在大模型参数量已经达到万亿级别，但FP4或FP8训练并不是简单地把所有计算和参数统一降到同一种精度，而是需要针对不同参数、激活值和计算环节设计不同的精度与数值处理策略。这个问题本身就很复杂。

低比特存储可显著提升存储效率和训练速度，理论上限可能只需一半甚至四分之一的存储空间，但它的问题是会带来精度损失，同时需确保下游任务性能不受影响，同时因为计算的加快可能需要重新构建整个通信和计算的交叠（overlap）设计。因此，完整低比特训练框架和解决方案需涉及模型、基础设施、算子层和通信层的全面优化，甚至需重写一部分算子。

同时，我们正在与英伟达联合研发全球首个FP4训练框架并即将发布，突破低比特训练中的训推不一致难题。

Q：精度继续降低后，模型会损失相关能力吗？它如果想实现工程化还面临哪些挑战？

杨红霞：需要澄清的是，低精度的前提是模型能力不能损失。如果精度降低导致性能下降，该低精度版本理论上不应存在，因此我们须确保性能无损。

工程化是一项综合性端到端工作，需同时推进多个方面：平台、训练基础设施、算子层及模型训练等多个方面。目前我们的框架已产品化，FP8端到端训练的产品化已较成熟，并将持续优化各模块，我们已经与国内外多家大型企业展开合作。而FP4的相关产品尚需要一段打磨时间，预计2027年年初可实现产品化。

Q：低比特训练真正想改变的，是在训练效率，还是降低训练大模型的使用成本？

杨红霞：当前大模型仍是“有钱大厂的游戏”。但未来，我们希望每个企业和机构都能训练自己的主权模型，前提就是把成本和算力门槛真正降下来，而低比特正是关键路径。从英伟达B系列原生支持FP4，到OpenAI等前沿团队持续探索低比特，趋势已经非常明确：如果能做到低比特训练而不损失模型性能，它就必然会成为下一代大模型训练的主流选择。

Q：这里有一个反直觉的问题：GPT、Claude、DeepSeek等通用模型的能力越来越强，企业为什么仍然需要训练自己的模型？

杨红霞：实际上，企业对自己的领域模型有非常强烈的需求。以Gemini 3 Pro为例（万亿参数以上），即使是全球最先进的多模态大模型，在一些真实医疗任务上的准确率也只有约60%；而我们基于中山大学肿瘤防治中心PB级本地数据训练的13B模型，参数量仅约为其1%，在特定任务上却能达到95%。

这背后的关键不是把模型做得更大，而是高质量领域数据。这些数据在互联网上根本不存在，也不会被医院、企业和政府机构轻易共享。中心化大模型再强，如果没有见过这些数据、学不到这些领域知识，在专业场景中就存在天然的能力边界。

因此我相信，一个领域拥有大量互联网无法获得的高质量数据，依托我们的低成本训练框架，有机会训练出在相关领域超越今天中心化大模型的专有模型。

就像深度学习最初只是少数互联网大厂的能力，最终走进了每一家企业。我们现在要做的，就是把大模型训练的“脚手架”搭好，把成本和算力门槛降下来，让每个企业、医院和机构都能用自己的数据，训练自己的模型。

Q：在你看来，未来对企业真正有价值的AI资产，是自己的数据还是自己的模型？

杨红霞：我一直相信，生成式AI一定会深刻改变每一个行业。但真正完成这场变革的，不会只是今天这批做AI的人，而一定是各行各业的企业自己。因为未来模型会越来越“数据化”——谁拥有最核心的数据和领域知识，谁就最有可能训练出最懂这个行业的模型。企业既掌握着互联网无法获得的行业数据，又拥有真正理解业务的领域专家，因此最终一定是它们自己定义、训练并持续进化自己的AI。

不集中数据

能不能把智能融合起来？

Q：除了低比特训练，你和团队还在做模型融合（Model Fusion）。它与传统方法有什么不同？它之所以取得更好的效果有哪些原因？

杨红霞：我们提出模型融合方案，在数据无需集中的前提下可实现智能的集中。2025年我们在NeurIPS上发表的工作，将Mistral、千问General、千问Coder和微软Phi-4（15B-25B参数）四个异构模型融合，相比从头训练需100万-200万GPU小时，我们的后训练过程仅需几百GPU小时，并且在数学、代码等每个维度均保持各领域模型最优性能，平均分从75-77分提升至88分。

ICML 2026的相关论文则进一步证明了模型融合的Scaling Law存在——尽管预训练阶段的Scaling Law因互联网高质量数据枯竭而受限，但并非Scaling Law本身失效，而是大量高质量领域数据仍处于离线状态。此外，中心化大模型如DeepSeek V4也已引入类似模型融合的思路，通过在线策略蒸馏（OPD）将多个领域专家的能力融合到统一模型中。

模型融合效果更好的原因在于：多任务学习中各任务性能平衡依赖数据混合，但调节不同数据（如代码库和数学题）的比例极其困难。而DeepSeek V4的做法是，先将各单任务（如代码、数学）做到极致，再通过模型融合保证各维度能力不降甚至提升，结果优于原始数据混合。

Q：模型融合是在“拼模型”，还是让不同模型互相学习？

杨红霞：模型融合并不是简单地“拼模型”，本质上仍然是模型之间相互学习的过程。每一个训练好的大模型，都可以看作其领域数据和知识的一种高度压缩、鲁棒的表征。融合多个领域模型，不是把它们简单集成或堆叠，而是让一个模型去学习其他模型已经沉淀的知识。具体来说，我们通过蒸馏等方式提取不同模型中的知识与能力，再结合通用对齐、监督微调（SFT）和强化学习（RL），最终训练出一个能力更强的新基础模型。

Q：你和团队还研究了模型融合缩放定律（Model Merging Scaling Law）。是不是意味着，未来的Scaling 不一定只是把一个模型越做越大，也可能是把越来越多专业模型组合起来？

杨红霞：是的。分布式生成式AI同样可能通向通用人工智能（AGI）。如果将世界知识分为成千上万个领域，每个领域具备最佳本地化数据，那么将中心化的大模型在这个领域上做得更好，根本不是一件难事。当前中心化模式缺乏合作，这是一种很大的资源浪费。而协作式或分布式模型融合有利于促进相互合作，提供了一种更优的解决方案。

Q：是否可以这样理解：传统Scaling是将单个模型做强，而你和团队的探索方向是让多个模型共同变强？

杨红霞：是的，核心在于引进领域专家和领域数据。目前大模型的突破主要集中在写代码、解数学题、生成视频等互联网数据丰富的领域，但尚未出现制造业或医疗领域特别强的基础模型，核心原因就在于这些领域的知识、数据和专家根本不在这个循环中。

Q：你认为，模型融合最大的挑战是什么？

杨红霞：挑战在于确保每个领域的性能不下降。中心化大模型通过原始数据的混合来解决类似问题，但后者难度更大，因为很难判断不同数据（如大量代码与少量数学题）的重要性。相比之下，已被抽象到同一维度的模型会更鲁棒。因此，通过模型融合来协调不同领域、平衡任务之间的关系，可能是相对更易行的方法。

Q：如果两个模型对同一问题给出相反结论，即知识冲突，你们会如何预防或处理？

杨红霞：模型融合中的知识冲突问题，在中心化大模型中也同样存在。中心化方案通过原始数据混合来解决，但原始数据量巨大、粒度（即信息浓度）不一，很难判断哪些数据更重要——不能只看量级，而是需要判断重要程度。

而训练后的模型已是该领域和数据最稳定的表达，因此相较于通过原始数据调整，通过模型来处理相对更好解决。这也正是DeepSeek V4、GLM 5等已将模型融合纳入中心化大模型训练过程的原因之一。

Q：协作生成式AI（Co-GenAI）与传统大模型范式的根本区别是什么？

杨红霞：它们的根本区别在于，模型融合无需集中数据。数据不可能完全集中，但我们仍希望智能能够流动与聚集，这本质上是范式的迭代。全球范围内，包括Thinking Machines Lab、Sakana等公司都在这一方向努力，中心化训练也已引入类似的思路。其中，前者主打开放权重与分布式微调工具，后者深耕进化式模型融合与多模型集体智能范式。

Q：目前你和团队想改变的是一种技术路线，还是今天AI越来越集中在少数几家公司里的产业结构？

杨红霞：从我的角度来讲，其实今天做大模型本质上技术+产品是同一件事。如果今天做的事情，是套壳别人的基础模型，做点智能体，其实这并没有什么竞争力。我们今天希望通过技术路线、模型范式的变革，从中心化走向去中心化，进而带来产品和产业的落地变革，让所有的各行各业都拥有“脚手架”。

InfiX想做的

不只是更便宜的大模型

Q：InfiX现在既做低比特训练、模型融合，也做Agent和训推一体化产品。如何用一句话定义这家公司？

杨红霞：简单来讲，它是企业级人工智能（Enterprise AI）。我们强调的是“又快、又好、又省”，帮这些公司机构做到他们自己的主权AI。

Q：为什么你和团队会把医疗行业作为试点场景？它的数据最敏感、容错率也最低，理论上反而是最难做的。在真正进入医院以后，你发现最大的问题是模型不够强，还是数据根本用不起来？目前还有哪些合作进展？

杨红霞：你说得非常正确。在我看来，无论医院还是大厂训练模型，数据的重要程度远大于模型结构。过去几年，模型结构虽有一定优化，但范式迭代很少，各家的模型其实差别不大，核心在于数据。

目前，我们已经与中山大学肿瘤防治中心、国家传染病中心等头部医院合作，它们拥有高质量的大数据和较好的基础和AI认知。我们希望在最具挑战的场景中验证成功，从而证明我们的框架能泛化到其他领域。

此外，我们也在与全球多个行业的大公司进行边缘AI方面的合作，比如我们与安克（Anker）在智能家居方面合作，利用低比特扩展算力，使端上不仅能推理还能轻量学习，以解决未来机器人等场景中本地数据不上云但需个性化更新的需求。这些合作刚刚起步，但涵盖了广泛的边缘应用。此外，还包括中东的阿美集团在能源领域推进能源基础模型，以及与其他公司在车载等边缘端场景的合作。

Q：在与中山大学肿瘤防治中心的合作案例中，你们的13B级本地化模型在一些医疗基准（benchmark）上，已经超过了参数规模更大的通用模型。这个结果背后最关键的因素，是算法设计、数据质量，还是训练策略？

杨红霞：从模型结构看，我们主要侧重低比特。但各大厂的大模型结构其实差别不大，我们能做得更好，核心原因还是数据。比如Gemini 3虽达万亿参数，在某些任务上却只有大概60%的准确率。

而我们提供的是一套集数据、模型、评估、上线流水线于一体的基础设施与服务平台解决方案。通过将本地化数据持续训练和后训练融入模型，得到一个领域模型，即便尺寸小得多，也能在该领域表现显著优于中心化大模型。

下一轮Scaling

可能藏在互联网之外

Q：我们之前讨论了Scaling Law，你认为AI下一步会向哪个方向融合发展？

杨红霞：当前主流大模型如Anthropic、OpenAI、DeepSeek、智谱、字节跳动等的突破，主要依赖互联网数据，覆盖写代码、解数学题、视频生成等场景，但当下大量高价值数据仍存在于本地。

以预训练为例，大厂通常使用20T到100T的Token。而我们与中山大学肿瘤防治中心合作时，仅一家医院就拥有几个PB规模的多模态数据。它与大模型预训练通常所说的数十万亿Token并不是同一种计量方式，但足以说明，大量高价值数据仍沉淀在互联网之外。因此，我认为未来将出现从中心化走向去中心化的范式转变。

Q：如果未来每个公司、机构都有自己的模型，是否会产生“模型孤岛”的新问题？

杨红霞：这些数据本身属于各机构，我们提供的工具包、脚手架，让它把这些数据真的用起来，构建自己的主权模型。如果仍采用中心化方式，这些数据无法被有效利用，智能（Intelligence）也无法流动。

而模型融合提供了一种解决方案：模型既是数据和知识的最本质表征，又在训练完成后一定程度实现了数据隐私保护，无需再处理原始数据。因此，模型融合是实现智能流动的有效途径。

Q：未来5年，在参数、数据、GPU这几个扩展方向上，你认为最值得重点扩展的是什么？

杨红霞：其实三者都值得扩展，但如果选一个最重要的，我认为真正将大量高精尖的数据利用起来，是最关键的一点。

Q：最近领域常讨论超级人工智能（ASI），被认为是AGI发展的一个可能结果。你认为这可能是一种怎样的变化？

杨红霞：目前AGI本身尚无明确定义，包括具身智能、世界模型等概念，在我看来都还比较远。无论是AGI还是ASI，首先都应把场景定义清楚。比如世界模型，最终落地可能是某个家居场景中的机器人做好特定任务。所以归根结底，更重要的还是在具体场景中把事做成。

Q：如果5年后回看，你最希望公司能证明哪一件当下不被看好或不被确信的事情？

杨红霞：我坚信，大模型一定会从中心化走向去中心化，从少数“大厂的游戏”走向千行百业，让每个企业和机构都能拥有、训练和持续进化自己的领域模型。只有这样，生成式AI才能真正深入行业、改变行业。

反过来，如果核心模型和技术长期集中在少数公司手中，所有人都只能通过API使用智能，数据和知识也会不断向少数平台集中，最终少数公司可能掌握越来越多行业的核心数据与智能。因此，去中心化不仅是技术趋势，也是让AI真正普惠、让智能掌握在每个行业自己手中的必然选择。

文小智 | 文

内容来源：信睿科技评论

获取更多 AI时代的科技参考

欢迎点击下方卡片关注 信睿科技评论