中经记者 李昆昆 李正豪 北京报道
近日,Sand.ai正式发布并开源MAGI-2 Preview。这是全球首个千亿级开源MoE视频生成模型,总参数约114B,单次前向计算仅激活约6B参数。MAGI-2 Preview在Artificial Analysis image to video视频生成榜单排名第六。
阳明商业论创始人沈阳对《中国经营报》记者表示,他看好Sand.AI的逻辑,开源权重代码将催生社区飞轮,自回归架构在长视频流式生成上潜力优于扩散模型。短板在于,复杂场景真实感与4K画质仍落后于闭源头部,工程稳定性待打磨。
114B总参数 单次只激活6B
文本模型通常处理几百或几千个token,视频还要容纳连续帧、大量空间patch和音频信息,模型越大,训练和推理需要的计算也越多。
MoE在模型内部设置一个庞大的专家池,每个token只选择与当前任务相关的一小部分专家参与计算。模型由此可以继续扩大容量,同时控制实际调用的参数量。
为了让专家分工更细,Magi-2 Preview将3072维隐藏表示拆成12个256维head,并在36层主体网络中使用Multi-Head MoE。
记者了解到,在粗粒度MOE中,完整1个Token整体路由给专家,1个token最多交给2个专家,专家本身是完整大FFN,专家数量少(8/16个)。
在超细粒度MoE中,比如DeepSeekMoE,专家本身被切成很多很小FFN原子专家,Token还是完整的,路由选一堆小专家。
而MH‑MoE(Mult-iHead MoE),专家大小可以保持正常尺寸;它把同一个Token向量拆成多个子Token(sub‑token),不同子Token分别路由到不同专家,同一个原始token可以同时调用4—8个专家,专家本身不需要切小。
传统MoE通常针对一个token的完整隐藏表示进行路由,少数专家需要同时处理其中包含的多种特征。Multi-Head MoE先把表示拆进多个低维子空间,再由每个head独立选择专家。
沈阳告诉记者,Sand.AI的逻辑有长处,也有短板。相对而言,国内快手可灵图生视频与角色一致性更成熟,深度绑定国内短剧与广告生产流程,中文语境表现优异。而其局限是音频依赖后处理,原生多模态能力较弱。
Google Veo 3.1(闭源质量天花板),渲染、光影与镜头语言第一梯队,单模型输出画面+音效。其局限是封闭生态、成本高昂,东亚人物表现欠佳。
“综合判断,长期看Sand.ai的开源MoE自回归路线最有可能定义下一代视频基座;当下商业变现则可灵现实优势最大;Veo守住高端但生态封闭。”沈阳说。
爱分析首席分析师李喆向记者说,他最看好字节的Seedance,主要是综合能力和应用生态优势明显。
“综合能力:目前视频模型已经是多模态创作阶段,要同时支持文本、图片、音视频,对工程化能力要求高,这方面字节积累比较深。应用生态方面拥有抖音、剪映等内容平台,可以把模型直接放进真实创作流程,通过大量用户反馈持续优化,这种轨迹数据对于模型训练的价值是非常高的。”李喆说。
技术难点
谈及视频生成模型需要突破的技术难点,沈阳认为,有核心七大技术壁垒属于“无人区”级别的难题。
当前行业已过“单帧惊艳”期,真正的分水岭在于长时间维度的稳定可信。主要卡点在于,时空一致性(核心痛点):长视频中身份漂移、物体形变频发;扩散模型缺时序记忆,自回归易累积误差,镜头旋转时3D多视角不自洽。
物理世界“伪理解”:模型仅靠数据拟合,不懂重力、碰撞与流体力学,导致物体悬浮、动量不守恒等“反物理”现象。引入显式物理引擎还是纯数据驱动,尚无最优解。
音—视—动深度对齐:多人物对话及情绪表演中,口型、微表情、肢体与音效需因果匹配。Sand.ai的联合token序列是探索方向,但复杂场景仍极易失准。
长视频叙事可控性:现模型多限于15秒内片段;超出后情节因果断裂,且缺乏中途精准控制(运镜、动作、剧情走向)的手段。
质量—算力—成本“不可能三角”:视频token爆炸,高清长时推理成本极高。稠密模型质优价贵,MoE虽降激活成本却徒增训练与调度难度,工程挑战巨大。
细粒度可控编辑缺失:无法像文生图Inpaint那样局部修改(改衣、改动作),任何调整几乎都需重绘全序列,严重制约工业化生产效率。
高质量时序数据枯竭:带时序因果标注的优质视频数据远少于图像,且面临严苛版权风险,已成行业级供给瓶颈。
谈起需要突破的技术难点,李喆认为主要是三个方面:长视频一致性、精准可控和单位可用视频成本。
首先是长视频一致性:模型需要让人物形象、服装、场景和动作在上千帧中保持一致,还要维持情节和物理逻辑,这是目前最大的技术难点之一。
其次是精准可控:专业创作更关心人物动作、对白、口型和节奏能否准确执行,不仅仅是一个惊艳样片。
最后是单位可用视频成本:如何在保证质量的同时降低推理成本,会决定视频模型能否大规模商业化。
(编辑:吴清 审核:李正豪 校对:颜京宁)
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.