![]()
作者:吕鑫燚
出品:具身研习社
模型的用途不是炫技。
这是具身智能赛道中最隐蔽的一条认知线。过去两年,行业的热钱与注意力,几乎涌向了同一个方向:谁家模型的参数更多,谁的评测榜单更高,谁的demo视频在社交媒体上传播得更广。
一场接一场的发布会,一轮接一轮的融资捷报产生的嘈杂之中,一个基本问题反而被淡化了,这些模型,到底能不能被真正用起来?
真正决定具身智能模型能否落地的,从来不是它在某个benchmark上多拿了两个百分点,也不是它在精心编排的演示里完成了多么惊艳的动作。对于一个需要在真实物理环境里持续运转的具身系统来说,模型的重点是易用性。开发者能不能像调用一个普通API一样训练它、部署它、迭代它?工程师是否需要为了一套训练流程重新搭建一整套基础设施?从论文里的方法到生产线上的实践,中间到底隔着多远的距离?
这些问题的答案,区分了一家模型公司是在做技术供给,还是只做技术表演。
对模型厂商来说,这就是工程化,工程化的本质不是聪明,而是老实,老老实实承认理论优势和实际应用之间可能存在巨大裂缝,然后用极其枯燥的系统工作把它填上。
自变量DMuon优化器的故事,恰好是填补这条裂缝的最新例证。
DMuon优化器是模型训练中,决定模型每一步往哪走、走多远的组件,它也恰恰是工程化里最吃系统功夫的环节之一。这已经不是自变量第一次往基础设施层面伸手。就在一个多月前,他们发布了X-Tokenizer动作分词器,用语义残差量化重新解决了多模态推理与连续动作之间的语义接口问题。从动作表示到训练优化,自变量在两条最关键的底层赛道上都留下了自己的工程印记。
![]()
一家具身模型公司,为什么要花力气去做大模型训练的基础设施?
答案藏在反过来想:如果DMuon不存在,每一个想在具身模型训练有突破 的团队,都要独自面对额外系统开支和时间惩罚,都要重新走一遍自变量已经走完的系统优化之路。重复造轮子不是创新的代价,而是产业不成熟的表现。
在具身智能基建这条赛道上,自变量已是国内领跑者,更代表着中国参与全球产业竞争的核心力量。它走出了一条扎实的进阶路径,先用前沿研发持续冲高技术上限,再以体系化的工程能力,将实验室中的 “演示级” 成果转化为产业侧的 “可用级” 能力,最终沉淀为支撑全行业具身智能模型发展的底层基础设施。这件事不是自变量第一次在做,此前其就开源了 WALL-OSS 系列模型,还配套提供训练代码与技术文档。
这条路的信号意义远超企业本身 ,它标志着国内具身智能企业的发展逻辑,正式从 “技术突破” 转向 “打造基建”。
更重要的是,这是中国具身模型新力量崛起的标志性节点。这一次的领先不再局限于评测榜单的纸面名次,而是以底层研发与工程落地的双重硬实力证明。
![]()
先给非技术读者拆明白这件事的分量,神经网络优化器就是模型训练过程中的“教练”。模型学习的过程,本质上是一个不断“试错-改正”的循环。比如让模型识别猫的照片,一开始它乱猜,猜错了就调整一下内部参数,下次争取猜对。
优化器就是那个决定“怎么调整”的角色。
想象你在一个能见度很低的雾天爬山,目标是走到山谷最低点(也就是找到最好的答案)。你看不清路,每走一步就要摸一摸周围的地面,判断哪里更矮。优化器就是那个根据你的感知,告诉你“向左跨一小步”还是“向右走一大步”的人。
此前行业通用的方案,是 AdamW 与 Muon 。其中,Muon的收敛速度远高于更成熟但有点慢的 AdamW ,因此不少前沿团队已经把Muon当成了新宠,认为它有望取代AdamW成为下一代默认优化器。
但当模型规模变大、需要多机多卡分布式训练时,Muon 会出现明显的效率损耗。大量重复计算、机器间额外的通信开销,就像团队协作里的 “无效内耗”,算力花了,速度却没跟上。例如,Muon 能更快找到下山的路,但他有个毛病,需要看到完整的地图才能指挥,很多人一起找路的时候反而乱套。
细化到具身模型来看,具身智能模型的训练有一个特点:时序上下文更短,前向传播和反向传播在整轮计算中的占比更小,优化器开销更难摊销,导致Muon在用于分布式计算时,会产生冗余计算和额外通信等系统开销。所以具身模型公司更迫切需要解决Muon的改进问题。
而自变量推出的 DMuon的技术改进可以归结为三项,每一项都打在原生Muon的痛点上。
第一项是Owner中心执行来解决“冗余计算”和“通信开销”。DMuon 将每个矩阵参数分配给唯一的 Owner rank(所有者进程),只有它会保存这个矩阵的优化器状态、执行 Newton–Schulz 迭代计算,再将需要更新的参数分发给需要的 GPU。实验数据显示,原生的 Muon 优化器的计算时间不随 GPU 数下降而下降,而DMuon 能伴随 GPU 数线性下,说明冗余计算被消除、GPU 越多收益越大。
![]()
第二项是形状自适应执行栈。权重矩阵的形状在神经网络里很不一致。有些矩阵很大,能独自占满整张GPU的计算单元;有些矩阵很小,好几块凑在一起才能喂饱GPU。如果用小矩阵的算法跑大矩阵,浪费算力;用大矩阵的算法跑小矩阵,调度开销比计算本身还重。DMuon针对这个问题做了四项优化。采用 Gram 空间递推;利用 Gram 矩阵的对称的性质,将主要乘法的算术量近乎减半;让小矩阵批量化“拼车”,把同形状的小矩阵打包一起计算;
DSL 驱动的自动调优。简单来说就是自己去适应矩阵形状,找到最优配比。
![]()
第三项是计算感知负载均衡。就是把所有矩阵当成任务,把所有Owner当成工人,给出一个让最慢工人完工时间最短的任务分配方案。这个分配是基于严格求解出来的。避免了”能者多劳、弱者摸鱼”的局面,让所有GPU的负载真正均衡。
自变量选择的测试环境是A800-SXM4-80GB集群。对比对象是AdamW和原生分布式Muon。实验结果显示,当显卡规模较小时,Muon能够节约一半的优化器显存占用,从而开启更大的批大小,计算利用率领先AdamW。规模增大后计算效率基本持平AdamW,但Muon本身提供更快的收敛速度,在自变量预训练设置下仍获得约30%的训练收益。
![]()
这意味着DMuon完全可以作为Muon与AdamW的替代方案用于大模型分布式训练。Muon从”理论上很美、生产上很贵”的一个选项,变成了可以默认启用的生产级优化器。
上面是一些听起来很硬的应用数据,汇总成一句话来说就是,自变量找到了一种极高提速模型训练的方法。
但这并不是这次的重点,重头戏是DMuon采用了模块化设计,提供Drop-In式接入。用户无需修改现有训练代码,也无需调整PyTorch FSDP分布式训练流程。仅需三行代码即可完成集成。
这就是模型工程化的本质,把复杂留给自己,把简单留给用户。你不需要理解Owner rank的分配逻辑,不需要关心Gram空间递推的实现细节,甚至不需要知道Newton-Schulz迭代是怎么工作的。你只需要把原来的优化器替换成DMuon,训练就变快了。
一个值得注意的细节是,DMuon选择开源发布。这意味着任何团队都可以在自己的训练流水线中尝试Muon优化器,而不必从头解决分布式适配的难题。
有人修好了高速公路,其他人就会跑得更快。
![]()
自变量不是第一家注意到Muon潜力的机构,但它是第一家给出系统级解法的具身模型企业。在此之前,改进Muon的工作几乎全由大语言模型巨头完成,DeepSeek、Kimi等企业在生产训练中不断探索Muon的规模化边界。
所以,真正值得行业注意的是做这件事的主体,不是专门做 AI 厂商,而是一家聚焦通用具身大模型的创业公司。
![]()
具身赛道发展至今,绝大多数玩家的路径都很一致,基于开源训练框架,针对具身场景做模型微调与适配。或者自研一个很难走出实验室的具身基座模型。很少有人会往优化器这种 “地基之下的地基” 里深耕,毕竟投入大、见效慢,远不如堆数据、做 Demo 来得快。
但自变量没有停留在 “拿来主义” 的舒适圈。
下场改造底层优化器,看似只是一步技术迭代,背后是企业技术路线的本质区别,它不是在现有基建上搭房子,而是真的在给整个行业的训练基础设施添砖加瓦。
这不是自变量第一次在技术底层出手。此前他们发布的X-Tokenizer动作分词器,致力于解决”多模态推理与动作之间的语义接口学习”问题。动作分词器的核心挑战在于,过去的分词器只关注如何拆分动作,却对“对齐动作和其他模态语义”这件最根本的事情关注甚少。X-Tokenizer试图为这个问题提供一个工程化的答案。
从动作表示到训练优化,自变量在两条最关键的底层赛道上都留下了工程印记。这种姿态有两方面的外显结果,对内,自变量的迭代速度会越来越快,技术让它的护城河逐步推高,对外,一个做具身智能公司,跑去优化全行业的训练基础设施,这本身就说明了一件事,具身模型走到了释放技术外溢红利时期,基础设施已经越来越成熟。
沿着这条脉络往下看,能发现一个贯穿始终的逻辑:降低门槛。
2025年自变量开源的WALL-OSS,不止于把整套方案毫无保留地放了出来,更关键的是把硬件门槛压到了极低,单张NVIDIA RTX 4090,24GB显存,就能跑推理和轻量微调,全量训练也只需要8张4090或同等配置。对学术机构和小型团队来说,这意味着不再需要为了一套具身基座模型去申请硬件支持,一张消费级显卡就能入局。这实际上是在重新划定这个行业的参与边界。
透过自变量的动作来看,具身模型企业正在从应用层向基础设施层迁移。他们不再满足于在别人的工具链上拼装产品,而是开始亲手打造行业公用的技术底座,加深自己的护城河,当这个行业的技术实力版图需要被重新描画时,自变量所代表的已经不只是某一家创业公司,而是具身行业向基础设施层延伸出的一个新坐标。
![]()
而插下这个坐标的,来自中国。
结尾
回到最初的话题,模型技术的终极价值,是让更多人能用、好用、用得起。
这一规律在大语言模型早已被验证。行业从早期扎堆刷榜、追逐参数规模的竞赛,早已转向对训练效率、推理成本、落地性价比的贴身比拼。
当大语言模型真正成为渗透生产生活的基础设施,昔日的榜单名次与奖项光环终将快速褪色,最终留在产业记忆里的,只有那些实实在在重构了生产流程、提升了运转效率的玩家。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.