斯坦福大学等机构突破：JavisDiT++实现音视频同步生成

这项由浙江大学、新加坡国立大学、多伦多大学等多所国际知名院校合作完成的研究，发表于2026年的国际学习表征会议（ICLR 2026），论文编号为arXiv:2602.19163v1。有兴趣深入了解的读者可以通过该编号查询完整论文。

当你在刷短视频时，是否想过一个问题：为什么AI能生成逼真的图片，也能制作流畅的视频，甚至能合成自然的音频，但就是无法做到让画面和声音完美配合？就像看一部配音不同步的电影，总让人觉得哪里不对劲。这个看似简单的问题，实际上是人工智能领域的一个巨大挑战。

想象你是一位电影导演，需要同时指挥摄影师拍摄画面和音响师录制声音，还要确保两者完美同步。对人类来说，这需要大量的协调和练习。对AI来说，这个挑战更加复杂，因为它需要理解声音和画面之间微妙的关系，比如鸟儿啁啾的声音应该和翅膀拍打的动作完全吻合，钢琴的琴键按下应该和相应的音符同时出现。

现有的AI系统通常采用"接力赛"的方式：先生成视频，然后根据视频内容添加声音，或者先生成音频，再根据声音制作画面。这种方法就像两个人分别画画和写字，最后拼在一起，很难保证完美配合。更让人头疼的是，即使是最先进的商业AI产品，比如谷歌的Veo3，也能制作出令人惊叹的有声视频，但这些技术往往不对外开源，普通研究者和开发者无法使用和改进。

研究团队意识到，要解决这个问题，需要一种全新的思路。他们开发了一个名为JavisDiT++的AI系统，这个系统最大的创新在于让AI"学会"了像人类导演一样，从一开始就统筹安排声音和画面的生成，而不是事后再进行拼接。

更令人兴奋的是，这个系统不仅实现了技术突破，还在训练效率上创造了奇迹。研究团队仅仅使用了大约100万个公开的训练样本，就让这个AI系统达到了业界领先水平，在多项评估指标上全面超越了之前的开源方法。这就像用一本薄薄的教材培养出了顶尖的学生，展现了方法的高效性。

这项研究的意义远不止于技术突破。在短视频、电影制作、游戏开发和虚拟现实等领域，高质量的有声视频生成都有巨大需求。传统的视频制作需要大量人力和时间，而这个AI系统可能会彻底改变内容创作的方式，让普通人也能轻松制作出专业级别的有声视频内容。

研究团队已经将所有代码、模型和数据集完全公开，这意味着全世界的研究者和开发者都可以在此基础上继续改进，推动整个领域的发展。这种开放的态度体现了学术研究的初心，也为AI视频生成技术的普及奠定了基础。

一、破解同步难题的核心秘密

要理解JavisDiT++的创新之处，我们需要先明白AI生成有声视频时面临的根本挑战。这个问题就像让一个从未见过乐队演出的人，同时指挥十几种不同的乐器，还要确保每个音符都与演奏动作完美配合。

传统的AI系统在处理这个问题时，往往采用"分工合作"的方式。系统内部有专门负责视频的"部门"和专门负责音频的"部门"，它们各自独立工作，然后通过复杂的"沟通机制"来协调。这种设计就像两家公司合作开发产品，虽然各自都很专业，但协调成本极高，最终效果也往往差强人意。

JavisDiT++采用了一种革命性的设计理念，研究团队称之为"模态特异性专家混合"。用更通俗的话来说，这就像建立了一个高效的创作工作室，其中有一个共同的"讨论区"，所有创作者都在这里交流想法和灵感，确保大家对项目有共同的理解。但是在具体创作时，视频创作者有自己专用的工作台，音频创作者也有自己的专业设备，这样既保证了充分的交流，又让每个人能专注于自己最擅长的工作。

这种设计的巧妙之处在于平衡。系统的"注意力层"就像那个共同的讨论区，让视频和音频信息能够充分交流融合。而"前馈网络层"则像专业的工作台，分别为视频和音频处理提供专门的优化空间。这样的安排让系统既能深度理解跨模态的关系，又能保持单一模态生成的高质量。

研究团队在对比实验中发现，这种设计相比传统的统一处理方式，能显著提升生成质量。而相比完全独立的双流设计，它又大大提高了效率，减少了近三分之一的计算开销。这种效率提升对于AI系统的实用化至关重要，因为更快的生成速度意味着更好的用户体验和更低的使用成本。

更重要的是，这种架构设计具有良好的扩展性。当需要处理更长的视频或更复杂的音频时，系统不需要大幅改动，只需要调整相应参数即可。这为未来的功能扩展奠定了坚实基础，也体现了研究团队对系统设计的深度思考。

二、时间同步的精确制导系统

在影视制作中，有一个专门的职业叫"同步师"，他们的工作是确保演员的口型与配音完美同步，哪怕几毫秒的偏差都能被观众察觉。对AI来说，这个同步挑战更加复杂，因为它需要理解声音和画面在时间轴上的精确对应关系。

传统的AI系统处理这个问题时，往往使用一些间接的方法，比如添加额外的"同步检查器"或使用复杂的"交叉注意力机制"。这些方法就像在两个独立运行的时钟之间搭建复杂的齿轮系统来保持同步，不仅复杂，而且容易出现累积误差。

JavisDiT++引入了一种名为"时间对齐旋转位置编码"的技术，这个技术的核心思想极其巧妙。可以把它想象成给系统中的每个数据片段都贴上了精确的"时间戳标签"。但与普通标签不同的是，这些标签不仅标注了"什么时候"，还通过特殊的编码方式告诉系统"应该与谁同步"。

具体来说，系统将视频按帧处理，每一帧都有自己的三维坐标：时间、高度、宽度。音频则被转换成类似图片的频谱图形式，也有对应的坐标系统。关键的创新在于，系统让音频和视频在时间维度上使用完全相同的坐标系统，就像让两个演员按照同一个节拍器来表演，自然就能保持同步。

但这里还有一个精妙的细节处理。为了避免音频和视频的位置标签出现重叠冲突，系统给音频标签加上了固定的偏移量。这就像给两队演员分配不同颜色的服装，虽然他们按照同样的节拍表演，但系统能清楚地区分谁是谁，避免了混乱。

实验结果证明了这种设计的有效性。与之前需要额外同步机制的方法相比，这种直接的位置编码方式不仅提高了同步精度，还大大降低了计算复杂度。系统能够在不增加任何推理时间的情况下，实现更好的音视频同步效果，这对实际应用来说是巨大的优势。

更令人惊喜的是，这种编码策略还能与其他同步技术兼容，为进一步的性能提升留下了空间。虽然研究团队为了保持系统的简洁性最终选择了单独使用这种方法，但这种兼容性为未来的改进提供了可能性。

三、让AI学会人类偏好的智能导师系统

如果说前面的技术创新解决了"能不能做"的问题，那么接下来的这项技术就解决了"做得好不好"的问题。就像培养一个艺术家不仅要教会他技法，更要培养他的审美品味，AI系统也需要学会什么样的有声视频才符合人类的喜好。

传统的AI训练就像让学生对着标准答案反复练习，只要结果足够接近标准答案就算成功。但现实中，人类对视频质量的判断是复杂而主观的，很难用简单的数学公式来衡量。一个视频可能在技术指标上表现优秀，但看起来就是不够自然；另一个视频的参数可能不够完美，但就是让人觉得赏心悦目。

研究团队开发了一套名为"音视频直接偏好优化"的训练方法，这套方法的核心思想是让AI通过对比学习来理解人类偏好。系统会生成多个版本的有声视频，然后通过多个维度的评估来判断哪个版本更好，再让AI学会向更好的方向改进。

这个评估系统本身就很有意思。研究团队没有依赖人工标注（那样成本太高且效率太低），而是开发了一套自动化的评估体系。这套体系从三个主要角度来判断视频质量：音频质量、视频质量，以及音视频之间的协调性。每个角度都有专门的AI评估工具，就像聘请了多位专业评委来给作品打分。

音频评估主要关注声音的清晰度和自然度，视频评估则关注画面的流畅性和真实感，而协调性评估则专门检查声画是否同步，内容是否匹配。系统会综合这三方面的评分，选出表现最好和相对较差的样本组成"优劣对比对"，然后让AI学会分辨差异并向优秀样本学习。

这种训练方式的效果是显著的。经过偏好优化训练的系统，在客观指标上有了明显提升，更重要的是，在人类评估者的主观判断中也获得了更高的认可度。实验显示，经过这种训练的系统生成的视频，在人类评估中有超过70%的概率被认为优于之前的版本。

有趣的是，这种偏好学习不仅提升了生成质量，还增强了系统的稳定性。传统训练中，AI系统可能会出现"过拟合"现象，就像学生死记硬背却不理解原理一样。而偏好优化训练让系统学会了更深层的理解，生成的内容更加稳定可靠。

研究团队还特别注意到，这种方法的另一个优势是数据效率。相比需要大量标注数据的传统方法，偏好优化只需要相对少量的对比样本就能取得良好效果。这对于推动技术普及和降低应用门槛具有重要意义。

四、超越巨头的开源奇迹

在AI领域，有一个令人沮丧的现实：最先进的技术往往掌握在几家大公司手中，普通研究者和开发者只能望而兴叹。谷歌的Veo3虽然能生成令人惊叹的有声视频，但它就像锁在保险柜里的珍宝，外人无法触及。这种技术垄断不仅阻碍了学术进步，也限制了创新应用的发展。

JavisDiT++的出现打破了这种局面，而且是以一种令人震惊的方式。研究团队仅仅使用了大约100万个公开可获得的训练样本，就训练出了一个在多项指标上全面超越现有开源方法的系统。更令人惊讶的是，这个系统在某些方面的表现已经接近甚至超过了部分商业系统的水平。

这种效率的实现得益于研究团队的巧妙策略。他们采用了三阶段的渐进式训练方法，就像培养一个全才需要循序渐进一样。第一阶段，系统专门学习音频生成，掌握各种声音的特征和规律。第二阶段，系统开始学习音视频联合生成，理解声音和画面之间的对应关系。第三阶段，系统通过偏好优化进一步提升生成质量，学会更好地满足人类审美需求。

每个阶段都有明确的目标和精心设计的训练策略。音频预训练阶段使用了78万个音频-文本对，涵盖了各种类型的声音，从自然环境音到音乐再到语音。音视频联合训练阶段使用了33万个高质量的音视频-文本三元组，这些数据经过严格筛选，确保质量和多样性的平衡。偏好优化阶段则使用了2.5万个精心构建的对比样本。

训练过程中的另一个创新是参数效率策略。研究团队没有简单粗暴地训练所有参数，而是采用了"LoRA"技术，只训练系统中的关键部分。这就像装修房子时只更换必要的部件而保持整体结构不变，既达到了改进效果，又大大降低了计算成本。

实验结果证明了这种策略的有效性。在标准评估数据集JavisBench上，JavisDiT++在几乎所有评估指标上都取得了最优成绩。在视频质量方面，系统的FVD指标（衡量视频真实度的重要标准）达到了141.5，显著优于之前最好开源方法的194.2。在音频质量方面，FAD指标达到了5.5，同样超越了之前的最好结果。

更令人印象深刻的是同步性能的提升。在衡量音视频时间同步的DeSync指标上，JavisDiT++的得分为0.832，相比之前的最好方法有了显著改进。这种同步精度的提升对用户体验来说至关重要，因为即使细微的不同步也会让观看者感到不适。

研究团队还进行了大量的人类评估实验。结果显示，在与之前的主要开源方法JavisDiT和UniVerse-1的对比中，JavisDiT++生成的视频有超过70%的概率被人类评估者认为更优秀。这种主观评估的优势进一步证实了技术改进的实际效果。

五、技术细节的精妙平衡

深入了解JavisDiT++的技术实现，就像欣赏一件精密机械的内部结构，每个组件都恰到好处地发挥着自己的作用。整个系统基于强大的Wan2.1-1.3B-T2V模型构建，这个基础模型已经具备了出色的文本到视频生成能力，为音视频联合生成提供了坚实的起点。

系统的架构设计体现了"简单而强大"的哲学。视频处理部分沿用了成熟的变分自编码器（VAE）技术，将原始视频压缩成更紧凑的表示形式，就像将高清照片压缩成缩略图一样，保留关键信息的同时大幅减少计算量。音频处理则采用了梅尔频谱图的方式，将声音转换成类似图片的二维表示，这样就能用处理图像的方法来处理声音。

模态特异性专家混合（MS-MoE）模块的实现特别巧妙。系统首先让所有的音频和视频标记在共享的注意力层中充分交互，就像让所有乐手先一起排练找感觉。然后，系统将这些标记分别送入专门的前馈网络，音频有音频的"专业工具"，视频有视频的"专业工具"，各自进行深度处理。

这种设计的优势在实验中得到了充分验证。研究团队对比了三种不同的架构策略：使用LoRA微调的共享模型、全参数微调的共享模型，以及他们提出的MS-MoE方法。结果显示，MS-MoE在保持视频生成质量的同时，显著提升了音频生成能力，同时还改善了音视频同步效果。

时间对齐的位置编码实现也颇具匠心。对于视频帧，系统保持原有的三维位置编码：时间、高度、宽度。对于音频的每个时频点，系统首先计算它对应的视频时间点，然后在另外两个维度上加上偏移量以避免与视频位置重叠。这个看似简单的策略，实际上解决了一个困扰研究者很久的同步问题。

研究团队还进行了详细的消融实验来验证各个组件的贡献。他们测试了四种不同的音频位置编码策略：完全独立编码、插值对齐、交错对齐，以及交错加偏移。结果表明，交错加偏移的策略（也就是最终采用的方法）在各个指标上都表现最佳，既保证了时间同步，又避免了位置冲突。

偏好优化的实现细节同样经过了精心设计。系统使用多个专业的评估模型：VideoAlign负责视频质量评估，AudioBox负责音频质量评估，ImageBind负责跨模态语义对齐评估，SynchFormer负责时间同步评估。这些评估结果经过归一化处理后综合成最终的排序信号。

训练过程采用了动态批处理策略，能够处理不同长度和分辨率的视频样本。系统支持2-5秒的视频长度和240p-480p的分辨率范围，能够适应不同的应用场景需求。推理时，整个生成过程只需要约1分4秒，相比其他方法大大提升了效率。

六、实验验证与性能突破

科学研究的价值最终要通过严格的实验验证来体现。研究团队设计了一套全面的评估体系，从多个角度检验JavisDiT++的性能表现。这套评估体系就像给运动员进行全面的体能测试，不仅要看单项成绩，更要看综合表现。

评估使用的JavisBench数据集包含超过1万个多样化的文本提示，涵盖了自然场景、人物活动、动物行为、音乐演奏等各种类型。每个提示都要求生成4秒钟、240p分辨率的有声视频，这个规格既能充分展示系统能力，又保证了评估的效率和公平性。

性能对比的结果令人印象深刻。在视频质量的核心指标FVD上，JavisDiT++达到了141.5分，相比之前最好的开源方法UniVerse-1的194.2分有了显著提升，分数越低表示生成的视频越接近真实视频。在音频质量的FAD指标上，系统得分5.5分，同样优于所有对比方法。

更重要的是跨模态一致性的提升。在衡量文本-视频语义匹配的TV-IB指标上，JavisDiT++得分0.282，在文本-音频匹配的TA-IB指标上得分0.164，这些数字表明系统生成的内容与输入文本描述高度一致。音视频语义对齐的AV-IB指标达到0.198，证明生成的声音和画面内容协调统一。

同步性能的突破尤为显著。在专门衡量时间同步的DeSync指标上（分数越低越好），JavisDiT++达到0.832分，相比其他方法有明显优势。这种同步精度的提升意味着观看者不会感受到声画不协调的违和感，观看体验更加自然流畅。

研究团队还进行了详尽的消融研究，系统性地验证了各个技术组件的贡献。关于架构设计的实验显示，MS-MoE相比传统的共享架构，在保持视频生成质量的同时，大幅提升了音频生成效果。关于位置编码的实验证实，时间对齐策略相比其他方案能更好地实现音视频同步。

偏好优化的效果在人类评估中得到了进一步验证。研究团队招募了专业评估者，对比JavisDiT++生成的视频与其他方法的结果。在与JavisDiT的对比中，JavisDiT++有74%的概率被认为更优秀；在与UniVerse-1的对比中，这个比例达到了74.7%。

训练数据的质量和数量也经过了专门研究。团队对比了使用不同质量和规模数据集的训练效果，发现数据质量和多样性同样重要：单纯增加低质量数据并不能提升性能，而高质量但数量不足的数据也无法充分发挥系统潜力。最终采用的33万中等质量训练样本在质量和多样性之间取得了最佳平衡。

计算效率的优势同样值得关注。JavisDiT++的推理时间仅为1分4秒，相比JavisDiT的3分55秒和UniVerse-1的1分42秒都有明显优势。这种效率提升对实际应用具有重要价值，意味着用户能够更快地获得生成结果，系统能够服务更多用户。

七、开源精神与未来展望

JavisDiT++的发布不仅仅是一项技术突破，更代表了开源精神在AI领域的重要胜利。在当今AI发展越来越依赖大公司巨额投入的背景下，这个项目证明了学术界依然能够通过巧妙的方法和开放合作创造出世界领先的成果。

研究团队将所有代码、预训练模型权重和处理后的数据集完全开放，任何人都可以免费获取和使用。这种开放态度打破了技术壁垒，让全世界的研究者和开发者都能在此基础上继续创新。相比那些被严密保护的商业技术，这种开放模式能够激发更多创意，推动技术更快发展。

项目的技术路线也为未来的改进指明了方向。当前版本主要支持2-5秒的短视频生成，但架构设计已经为扩展到更长时间做好了准备。分辨率方面，现在支持240p-480p，随着计算资源的改善和算法的优化，扩展到更高分辨率也是水到渠成的事情。

更令人期待的是跨模态生成能力的扩展。目前系统主要处理文本到音视频的生成，但同样的架构原理可以扩展到音频到视频、视频到音频，甚至图像加音频到视频等更多场景。这种扩展将为内容创作带来更多可能性，让创作者能够用更灵活的方式表达创意。

技术的实际应用前景同样广阔。在教育领域，这种技术能够帮助制作生动的教学视频，让抽象概念变得形象具体。在娱乐产业，它能够降低视频制作的门槛，让更多创作者能够实现自己的想法。在商业应用中，它能够帮助企业快速制作营销视频，提高宣传效率。

当然，技术的发展也伴随着挑战和责任。高质量的AI生成内容可能被恶意使用，制作虚假信息或深度伪造内容。研究团队在论文中也讨论了这些潜在风险，并呼吁建立相应的检测和防护机制。技术本身是中性的，关键在于如何使用。

从研究方法论的角度，JavisDiT++展示了"少即是多"的设计哲学。相比那些复杂庞大的系统，简洁而高效的设计往往更具可持续性和可扩展性。这种方法不仅降低了技术门槛，也为后续的改进和优化留下了充足空间。

研究团队的国际合作模式也值得称道。这个项目汇集了浙江大学、新加坡国立大学、多伦多大学等多所知名院校的研究力量，体现了学术合作的力量。不同文化背景和专业特长的研究者协同工作，往往能够产生意想不到的创新火花。

展望未来，随着计算能力的持续提升和算法的不断优化，我们有理由相信AI生成的有声视频将变得越来越逼真，应用场景也会越来越广泛。JavisDiT++作为这个领域的重要里程碑，不仅推动了技术进步，更为后续研究奠定了坚实基础。

归根结底，这项研究的最大价值或许不在于创造了多么惊艳的技术演示，而在于为普通人打开了创意表达的新大门。当生成高质量有声视频变得像写文章一样简单时，我们的表达方式将变得更加丰富多彩，创意的边界也将被进一步拓展。这种技术民主化的意义，远比单纯的技术突破更加深远。

Q&A

Q1：JavisDiT++和现有的AI视频生成工具有什么区别？

A：JavisDiT++的最大区别是能够同时生成声音和画面，而且两者完美同步。现有的AI工具要么只能生成无声视频，要么需要先生成视频再配音，很难保证同步效果。JavisDiT++从一开始就统筹安排声音和画面的生成，就像一个熟练的导演能同时指挥摄影和录音一样，确保最终效果的协调统一。

Q2：普通人可以使用JavisDiT++来制作视频吗？

A：可以的，而且这正是研究团队的目标之一。JavisDiT++是完全开源的项目，所有代码和模型都可以免费获取。虽然目前还需要一定的技术基础来部署和使用，但随着技术的发展和社区的完善，相信很快就会有更友好的用户界面出现，让普通创作者也能轻松使用这项技术制作专业级的有声视频内容。

Q3：JavisDiT++生成的视频质量能达到什么水平？

A：根据研究团队的测试结果，JavisDiT++在多项客观指标上都超越了之前的开源方法，在人类评估中有超过70%的概率被认为优于现有技术。虽然目前还主要支持短时长、中等分辨率的视频，但生成的内容在视觉效果、音频质量和同步精度方面都达到了很高水准。随着技术的持续优化，质量还会进一步提升。