网易首页 > 网易号 > 正文 申请入驻

阿里又开源了!电影级视频模型,业界首用MoE架构,通义App已上线

0
分享至

智东西7月28日报道,刚刚,阿里开源视频生成模型通义万相Wan2.2,包括文生视频Wan2.2-T2V-A14B、图生视频Wan2.2-I2V-A14B和统一视频生成Wan2.2-IT2V-5B三款模型。

其中,文生视频模型和图生视频模型为业界首个使用MoE架构的视频生成模型,总参数量为27B,激活参数14B,在同参数规模下可节省约50%的计算资源消耗,在复杂运动生成、人物交互、美学表达等维度上取得了显著提升。5B版本统一视频生成模型同时支持文生视频和图生视频,可在消费级显卡部署,是目前24帧每秒、720P像素级的生成速度最快的基础模型。

▲通义万相Wan2.2生成的视频

此外,阿里通义万相团队首次推出电影级美学控制系统,将光影、构图、色彩等要素编码成60多个直观的参数并装进生成模型。Wan2.2目前单次可生成5s的高清视频,可以随意组合60多个直观可控的参数。

官方测试显示,通义万相Wan2.2在运动质量、画面质量等多项测试中超越了OpenAI Sora、快手Kling 2.0等领先的闭源商业模型。

业界首个使用MoE架构的视频生成模型有哪些技术创新点?5B版本又是如何实现消费级显卡可部署的?通过对话通义万相相关技术负责人,智东西对此进行探讨解读。

目前,开发者可在GitHub、HuggingFace、魔搭社区下载模型和代码,企业可在阿里云百炼调用模型API,用户还可在通义万相官网和通义APP直接体验。

GitHub地址:
https://github.com/Wan-Video/Wan2.2
HuggingFace地址:
https://huggingface.co/Wan-AI
魔搭社区地址:
https://modelscope.cn/organization/Wan-AI

一、推出首个MoE架构视频生成模型,5B版本消费级显卡可跑

根据官方介绍,通义万相Wan2.2的特色包括光影色彩及构图达到电影级,擅长生成复杂运动等,首先来看几个视频生成案例:

提示词1:Sidelit, soft light, high contrast, medium shot, centered composition, clean single subject frame, warm tones. A young man stands in a forest, his head gently lifted, with clear eyes. Sunlight filters through leaves, creating a golden halo around his hair. Dressed in a light-colored shirt, a breeze plays with his hair and collar as the light dances across his face with each movement. Background blurred, featuring distant dappled light and soft tree silhouettes.

(侧光照明,光线柔和,高对比度,中景镜头,居中构图,画面简洁且主体单一,色调温暖。一名年轻男子伫立在森林中,头部微微上扬,目光清澈。阳光透过树叶洒落,在他发间勾勒出一圈金色光晕。他身着浅色衬衫,微风拂动着他的发丝与衣领,每一个细微的动作都让光影在他脸上流转跳跃。背景虚化,隐约可见远处斑驳的光影和树木柔和的剪影。)

视频输出的gif截取:

提示词2:A man on the run, darting through the rain-soaked back alleys of a neon-lit city night, steam rising from the wet pavement. He’s clad in a drenched trench coat, his face etched with panic as he sprints down the alley, constantly looking over his shoulder. A chase sequence shot from behind, immersing the viewer deeply, as if the pursuers are right behind the camera lens.

(一个在逃的男人,在霓虹灯点亮的城市夜色中,冲过被雨水浸透的后巷,潮湿的路面上蒸腾起雾气。他裹着一件湿透的风衣,脸上刻满惊慌,顺着巷子狂奔,不断回头张望。这段追逐戏从后方拍摄,将观众深深带入情境,仿佛追捕者就在镜头背后。)

视频输出的gif截取:

提示词3:A purely visual and atmospheric video piece focusing on the interplay of light and shadow, with a corn train as the central motif. Imagine a stage bathed in dramatic, warm spotlights, where a corn train, rendered as a stark silhouette, moves slowly across the space. The video explores the dynamic interplay of light and shadow cast by the train, creating abstract patterns, shapes, and illusions that dance across the stage. The soundtrack should be ambient and minimalist, enhancing the atmospheric and abstract nature of the piece.

(这是一部纯粹以视觉和氛围见长的影像作品,核心聚焦光影的交织互动,以玉米列车为中心意象。试想一个舞台,被富有戏剧张力的暖调聚光灯笼罩,一列玉米列车化作鲜明的剪影,在空间中缓缓穿行。影片探寻列车投下的光影所形成的动态呼应——它们在舞台上舞动,幻化出抽象的图案、形态与视觉幻象。配乐应采用氛围化的极简风格,以此强化作品的氛围感与抽象特质。)

视频输出的gif截取:

背后,生成这些视频的生成模型有什么技术创新点?这要从视频生成模型在扩展规模(scale-up)时面临的挑战说起,主要原因在于视频生成需要处理的视频token长度远超过文本和图像,这导致计算资源消耗巨大,难以支撑大规模模型的训练与部署。

混合专家模型(MoE)架构作为一种广泛应用于大型语言模型领域的模型扩展方式,通过选择专门的专家模型处理输入的不同部分,扩种模型容量却不增加额外的计算负载。

1、首个MoE架构的视频生成模型,高噪+低噪专家模型“搭档”

万相2.2模型将MoE架构实现到了视频生成扩散模型(Diffusion Model)中。考虑扩散模型的去噪过程存在阶段性差异,高噪声阶段关注生成视频的整体布局,低噪声阶段则更关注细节的完善,万相2.2模型根据去噪时间步进行了专家模型划分。

相比传统架构,通义万相Wan2.2 MoE在减少计算负载的同时有哪些关键效果提升?业界首个使用MoE架构,团队主要攻克了哪些难点?

通义万相团队相关负责人告诉智东西,团队并不是将语言模型中的MoE直接套用到视频模型,而是用适配了视频生成扩散模型的MoE架构。该架构将整个去噪过程划分为高噪声和低噪声两个阶段:在高噪声阶段,模型的任务是生成视频大体的轮廓与时空布局;在低噪声阶段,模型主要是用来细化细节纹理和局部。每个阶段对应一个不同的专家模型,从而使每个专家专注特定的任务。

“我们的创新点是找到高阶噪声和低噪声阶段的划分点。不合理的划分会导致MoE架构的增益效果不足。我们引入了一个简单而有效的新指标——信噪比来进行指导,根据信噪比范围对高噪和低噪的时间T进行划分。通过这种MoE的架构,我们总参数量相比于2.1版本扩大了一倍,但训练和推理每阶段的激活值还是14B,所以整体的计算量和显存并没有显著增加,效果上是有效的提升了运动复杂运动和美学的生存能力。”这位负责人说。

▲万相2.2的28B版本由高噪专家模型和低噪专家模型组成

2、数据扩容提高生成质量,支撑与美学精调

较上一代万相2.1模型,万相2.2模型的训练数据实现了显著扩充与升级,其中图像数据增加65.6%,视频数据增加83.2%。数据扩容提升了模型的泛化能力与创作多样性,使得模型在复杂场景、美学表达和运动生成方面表现更加出色。

模型还引入了专门的美学精调阶段,通过细粒度地训练,使得视频生成的美学属性能够与用户给定的Prompt(提示词)相对应。

万相2.2模型在训练过程中融合了电影工业标准的光影塑造、镜头构图法则和色彩心理学体系,将专业电影导演的美学属性进行了分类,并细致整理成美学提示词。

因此,万相2.2模型能够根据用户的美学提示词准确理解并响应用户的美学需求。训练后期,模型还通过强化学习(RL)技术进行进一步的微调,有效地对齐人类审美偏好。

3、高压缩比视频生成,5B模型可部署消费级显卡

为了更高效地部署视频生成模型,万相2.2探索了一种模型体积更小、信息下降率更高的技术路径。

通义万相Wan2.2开源5B版本消费级显卡可部署,该设计如何平衡压缩率与重建质量?

通义万相团队相关负责人告诉智东西,为了兼顾性能与部署的便捷性,wan 2.2版本开发了一个5B小参数版。这一版本比2.1版本的14B模型小了一半多。同时团队采用了自研高压缩比VAE结构,整体实现了在特征空间上16×16的高压缩率,是2.1版本压缩率(8×8)的四倍,从而显著降低了显存占用。

为了解决高压缩比带来的问题,团队在这个VAE的训练中引入了非对称的编码结构以及残差采样机制;同时其还增加了这个隐空间的维度,把原来的2.1版本的16位增加到了48位。这样使模型在更大的压缩率下保持了良好的重建质量。

此次开源的5B版本采用了高压缩比VAE结构,在视频生成的特征空间实现了视频高度(H)、宽度(W)与时间(T)维度上32×32×4的压缩比,有效减少了显存占用。5B版本可在消费级显卡上快速部署,仅需xx显存即可在xx秒内生成5秒720p视频。此外,5B版本实现了文本生成视频和图像生成视频的混合训练,单一模型可满足两大核心任务需求。

此次开源中,万相2.2也同步公开了全新的高压缩比VAE结构,通过引入残差采样结构和非对称编解码框架,在更高的信息压缩率下依然保持了出色的重建质量。

二、60+专业参数引入,实现电影级美学控制

本次,阿里通义万相团队还推出了“电影级美学控制系统”,通过60+专业参数赋能, 将专业导演的光影、色彩、镜头语言装进生成模型。用户通过直观选择美学关键词,即可智能生成电影质感的视频画面。

许多创作者都遇到过这样的难题:明明脑海中有充满电影感的画面,如王家卫式的霓虹夜晚、诺兰式的硬核实景、韦斯·安德森式的对称构图,实际生成的效果却总差强人意——光线平淡像随手拍、构图随意缺乏张力、色调混乱没有氛围。

通义万相团队认为,根本原因在于,真正的电影感源于对光影、色彩、镜头语言三大美学体系的精密控制。这些专业能力以往需要多年的学习和实践才能掌握。wan 2.2的全新功能可以解决这一核心痛点。

智能美学词响应是系统的核心创新。用户无需理解复杂的电影术语,只需在中文界面选择想要的美学关键词,如黄昏、柔光、侧光、冷色调、对称构图、特写等,系统将自动理解并精确响应,在后台智能调整灯光属性、摄像机参数、色彩滤镜等数十项技术指标。

三、可生成复杂运动,强化物理世界还原能力

在文生视频领域,生成基础、平缓的动作已非难事,但如何生成大幅度、高复杂度、高细节的动作,如街舞、体操等,始终是技术跃迁的关键挑战。

Wan2.2模型针对面部表情,手部动作,单人、多人交互、复杂动作等方面进行了专门优化,大幅提升了细微表情、灵巧手势、单人与多人交互、复杂体育运动等生成能力。

比如,Wan2.2构建了人类面部原子动作和情绪表情系统。它不仅能生成如“开怀大笑”、“轻蔑冷笑”、“惊恐屏息”等典型情绪表达,更能细腻刻画“羞涩微笑中的脸颊微红”、“思考时不经意的挑眉”、“强忍泪水时的嘴唇颤抖”等复杂微表情,从而精准传达复杂的人物情绪与内心状态。

比如,Wan2.2还构建了丰富的手部动作系统,能够生成从力量传递的基础物理操作、精细器具交互的复杂控制,到蕴含文化语义的手势符号体系,乃至专业领域的精密动作范式等手部动作。

此外值得一提的是,Wan2.2模型针对多项基础物理定律与现象进行了优化。这包括对力学、光学以及流体力学和常见物理状态变化的学习,力求构建高度真实的物理基础。

在复杂动态场景的处理上,Wan2.2专门优化了多目标生成与交互场景。它能够稳定地生成多个独立物体或角色同时进行的复杂动作及其相互影响。此外,Wan2.2 对复杂空间关系的理解与呈现也得到大幅增强,能够精确理解物体在三维空间中的相对位置、距离、深度、遮挡的空间结构变化。

结语:突破视频模型规模瓶颈,推动AI视频生成专业化演进

Wan2.2首创MoE架构视频生成模型,为突破视频模型规模瓶颈提供了新路径;5B版本大幅降低高质量视频生成门槛,加速生成式AI工具普及。

“电影级美学控制”将专业影视标准体系化融入AI,有望推动AI视频生成工具向更加专业化的方向发展,助广告、影视等行业高效产出专业内容;其复杂运动与物理还原能力的提升,显著增强了生成视频的真实感,为教育、仿真等多领域应用奠定基础。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
英伟达技术大牛实名发声:身患重病时,黄仁勋出手帮他抢下生机

英伟达技术大牛实名发声:身患重病时,黄仁勋出手帮他抢下生机

普陀动物世界
2026-11-18 08:58:23
逃过了股市暴跌,却没逃过银行理财的暴击

逃过了股市暴跌,却没逃过银行理财的暴击

深水财经社
2026-11-18 14:21:15
普京来华前夕先送大礼,俄方宣布重磅消息,中国大后方再落一子

普京来华前夕先送大礼,俄方宣布重磅消息,中国大后方再落一子

通鉴史智
2026-11-18 10:06:16
甘肃19岁姑娘,认58岁男上司为干爹,去家中照顾他引发悲剧

甘肃19岁姑娘,认58岁男上司为干爹,去家中照顾他引发悲剧

民间精选故事汇
2025-06-14 13:37:34
41岁C罗15分钟戴帽,生涯985球!沙特联赛却把钱从买人转向建球场

41岁C罗15分钟戴帽,生涯985球!沙特联赛却把钱从买人转向建球场

桑葚爱动画
2026-11-03 14:18:57
沉默45年,中国终于迎来第二轮“严打”!目标改变总体战正式打响

沉默45年,中国终于迎来第二轮“严打”!目标改变总体战正式打响

闻识
2026-05-04 08:59:03
CBA3消息!强援加盟广东宏远,山东或买断皮尔森,上海不满布歇试训表现!

CBA3消息!强援加盟广东宏远,山东或买断皮尔森,上海不满布歇试训表现!

体坛卡卡说
2026-11-17 11:05:10
二十届五中全会释放用人新风:跳出年龄学历框,不再降格凑班子

二十届五中全会释放用人新风:跳出年龄学历框,不再降格凑班子

户外阿毽
2026-11-17 06:11:58
完了!膝软骨退化,库里生涯真的要完了……

完了!膝软骨退化,库里生涯真的要完了……

体育新角度
2026-11-18 11:27:31
郑丽文:绝不放弃武力护台,洪秀柱表态:两岸和平不能回避统一

郑丽文:绝不放弃武力护台,洪秀柱表态:两岸和平不能回避统一

混沌录
2026-11-17 22:34:08
财报炸裂!英伟达史上首次单季营收突破1000亿美元

财报炸裂!英伟达史上首次单季营收突破1000亿美元

每日经济新闻
2026-11-18 06:31:33
曝蔡天凤案大反转!6000W豪宅邝球拿了3000W,写他名是为了省税

曝蔡天凤案大反转!6000W豪宅邝球拿了3000W,写他名是为了省税

神秘的未知领域
2026-11-18 01:50:28
JunJia绿帽事件迎来结局!Doggo远赴欧洲打比赛,WBG新阵容曝光:RNG双C再次合体

JunJia绿帽事件迎来结局!Doggo远赴欧洲打比赛,WBG新阵容曝光:RNG双C再次合体

风尘Game
2026-11-18 12:56:14
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
回顾:山东女子野生虎区强行下车,与幼虎合照,10分钟后悲剧发生

回顾:山东女子野生虎区强行下车,与幼虎合照,10分钟后悲剧发生

兰姐说故事
2025-01-17 10:30:03
真相炸裂!宗庆后3个私生子并非同一母亲,小儿子是别墅管家所生

真相炸裂!宗庆后3个私生子并非同一母亲,小儿子是别墅管家所生

派大星纪录片
2025-07-15 13:28:11
午后拉升!千亿PCB龙头,冲上涨停

午后拉升!千亿PCB龙头,冲上涨停

中国基金报
2026-11-18 16:08:54
美媒爆料:勇士酝酿重磅交易,巴特勒、格林均可作为筹码

美媒爆料:勇士酝酿重磅交易,巴特勒、格林均可作为筹码

夜白侃球
2026-11-18 11:25:39
18分逆转!格莱姆斯47+6+3,赛后小里冲进场庆祝,东契奇先行退场

18分逆转!格莱姆斯47+6+3,赛后小里冲进场庆祝,东契奇先行退场

担酒
2026-11-18 15:07:43
高市拒不道歉,还想受到中方礼遇?日官员恳求,峰会上别降级对待

高市拒不道歉,还想受到中方礼遇?日官员恳求,峰会上别降级对待

靓仔情感
2026-11-17 04:36:22
2026-11-18 17:03:00
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12961文章数 117195关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

游戏
教育
家居
手机
公开课

英国法庭驳回索尼PlayStation数字内容集体诉讼

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版