新加坡国立大学与百度联手开发ONE-SHOT

在电影特效和虚拟现实日益普及的今天，一项由新加坡国立大学和百度公司联合开展的研究正在悄然改变我们对视频制作的认知。这项发表于2026年4月arXiv预印本平台（编号：arXiv:2604.01043v1）的研究，提出了一个名为ONE-SHOT的创新框架，能够让计算机像导演一样，将真人的动作、表情和环境背景巧妙地融合在一起，创造出逼真的视频内容。

要理解这项研究的意义，不妨把它想象成一种全新的"数字魔法"。传统的视频制作就像搭积木一样，需要先准备好所有的零件，然后费力地将它们拼装在一起。而ONE-SHOT更像是一位经验丰富的厨师，能够同时处理多种食材，让每种食材都保持自己独特的味道，最终烹制出一道和谐美味的大餐。

研究团队面临的核心挑战类似于让一位京剧演员在欧洲古堡中表演太极，同时还要确保演员的服装、动作和周围环境都显得自然协调。在传统方法中，这需要大量复杂的前期准备工作，就像为了做一道菜而要先建造整个厨房一样繁琐。更糟糕的是，一旦过度依赖这些复杂的准备工作，整个系统就像被束缚住的艺术家，失去了创造力和灵活性。

ONE-SHOT的独特之处在于它采用了一种"分而治之"的策略。就像一位出色的管弦乐指挥能够让小提琴、大提琴和钢琴各自发挥特长，同时又能完美融合成一首交响乐一样，这个系统将人物动作、环境背景和摄像机运动这三个要素分开处理，然后巧妙地将它们组合起来。

研究的创新点体现在三个关键技术突破上。首先是"标准空间动作注入"机制，这就像为每位演员提供了一个专门的表演舞台。无论演员要在什么样的环境中表演，他们都可以在这个标准舞台上练习动作，然后系统再将这些动作无缝地转移到真实环境中。这种方法避免了传统技术中常见的"水土不服"问题。

其次是"动态基础旋转位置编码"技术，听起来复杂，但实际上就像一个智能的空间翻译器。当演员在标准舞台上的动作需要转移到真实环境时，这个翻译器能够自动调整空间对应关系，确保演员的每个动作在新环境中都显得自然合理。

第三个突破是"混合上下文集成"机制，这相当于给系统配备了长期记忆和短期记忆两套记忆系统。短期记忆负责记住演员的面部特征和基本外貌，而长期记忆则能追踪整个表演过程中环境和人物的变化，确保长达数分钟的视频内容保持一致性。

在技术实现层面，ONE-SHOT采用了一种类似"学徒制"的训练方式。研究团队没有从头开始训练一个全新的系统，而是基于已经成熟的Wan2.1视频生成模型进行改进。这就像一位经验丰富的师傅带着徒弟，只需要教授一些特定的新技能，而不必从基础开始。这种方法大大提高了效率，同时保持了原有系统的创造力。

系统的工作流程可以比作制作一部舞台剧。首先，导演（系统）会根据剧本（文本提示）选择合适的舞台背景，这是通过分析三维点云数据和设定摄像机轨迹来实现的。然后，演员（虚拟人物）会根据编排好的动作序列在舞台上表演。最有趣的是，这个系统能够让同一位演员在不同的舞台上表演不同的剧目，或者让不同的演员在同一个舞台上表演相同的动作。

研究团队在训练这个系统时采用了多样化的数据来源，就像让学生同时学习多门课程一样。他们使用了包含动态摄像机运动的EMDB2数据集、以人体动作为主的MotionX数据集子集、提供三维环境信息的ARKitScenes数据集，以及自行收集的网络视频。这种多元化的训练方式让系统具备了更强的适应能力和创造性。

在实验验证阶段，研究团队进行了两类关键测试。第一类是"自我重现"测试，就像让学生复述刚学过的课文一样，检验系统能否准确重现已有的视频内容。第二类是"创新组合"测试，这更像是让学生进行创作，检验系统能否将不同来源的人物、动作和环境创造性地组合在一起。

实验结果显示，ONE-SHOT在多个重要指标上都超越了现有的顶级方法。在视觉质量方面，它获得了16.88的FID分数和181.17的FVD分数，明显优于其他竞争方法。更重要的是，在动作流畅性、背景一致性和人物相似性等关键指标上，ONE-SHOT都展现出了更好的平衡性。这就像一位全能运动员，不仅在单项上表现出色，在综合能力上也超越了专项选手。

特别值得一提的是，ONE-SHOT还展现出了强大的文本指导编辑能力。用户可以通过简单的文字描述，让系统将视频中的人物或物体进行创意替换。比如，可以将一个普通人替换成卡通角色哆啦A梦，或者将宠物狗替换成发光的小龙。这种能力源于系统很好地保持了原始视频生成模型的创造性，没有因为增加控制功能而牺牲灵活性。

研究团队还特别关注了长时间视频生成的挑战。传统方法往往只能处理十秒左右的短视频，而ONE-SHOT通过其混合记忆机制，能够生成长达数分钟的连贯视频内容。这就像让一位演员能够完成一整部短剧的表演，而不仅仅是几个片段。

在技术细节的消融实验中，研究团队验证了每个核心组件的重要性。当移除动态基础旋转位置编码功能时，系统在动作控制上的精确度明显下降，生成的人物动作会出现偏移和不协调。当移除面部参考信息时，人物的身份保持能力显著减弱，容易在长视频中出现"换脸"现象。这些实验结果证实了研究团队设计的每个技术组件都有其不可替代的作用。

从实际应用的角度来看，ONE-SHOT的意义远不止于技术突破本身。在电子商务领域，它可以让商家轻松创建不同模特在各种场景下展示产品的视频，大大降低拍摄成本。在教育领域，教师可以让历史人物在特定的历史场景中"复活"，为学生提供更加生动直观的学习体验。在娱乐产业，内容创作者可以快速制作各种创意视频，而无需复杂的拍摄和后期制作流程。

当然，这项技术也面临着一些挑战和限制。系统的效果很大程度上依赖于输入的三维场景点云数据的质量，如果场景重建不够精确，可能会影响最终的视频质量。此外，在一些极端的边界框定位情况下，系统可能会出现人物位置不准确的问题。对于超长时间的视频生成，仍然可能出现一些细微的时间漂移现象。

研究团队也坦诚地讨论了这项技术可能带来的社会影响。虽然ONE-SHOT为创意表达和内容制作提供了强大的工具，但它也可能被用于制作误导性内容或虚假信息。因此，研究团队强调了负责任使用这项技术的重要性，建议在实际部署时需要考虑隐私保护和偏见问题。

从技术发展的趋势来看，ONE-SHOT代表了视频生成技术向更加智能化和可控化方向发展的重要一步。它不仅解决了现有技术在精确控制方面的不足，还保持了人工智能系统的创造性和灵活性。这种平衡对于人工智能技术的实用化具有重要意义。

说到底，ONE-SHOT就像是给了我们一支神奇的画笔，让我们能够在数字世界中随心所欲地创作视频内容。它不仅让技术变得更加精确和可控，还让创意表达变得更加自由和多样。虽然这项技术还有改进的空间，但它已经为我们展示了人工智能在视频制作领域的巨大潜力。对于那些对技术细节感兴趣的读者，可以通过论文编号arXiv:2604.01043v1查阅完整的研究内容，深入了解这项令人兴奋的技术突破。

Q&A

Q1：ONE-SHOT技术是什么？

A：ONE-SHOT是新加坡国立大学和百度联合开发的视频生成技术，能够让计算机将真人动作、环境背景和摄像机运动智能地组合在一起，创造出逼真的视频内容，就像让虚拟演员在任何环境中自然表演。

Q2：ONE-SHOT比现有技术有什么优势？

A：ONE-SHOT最大的优势是解决了传统方法的三个问题：减少了复杂的3D预处理工作，保持了系统的创造力和灵活性，还能生成长达数分钟的连贯视频。它就像一位全能导演，既能精确控制又保持创意自由。

Q3：普通人能使用ONE-SHOT技术吗？

A：目前ONE-SHOT还是研究阶段的技术，普通用户暂时无法直接使用。不过这项技术未来可能会集成到视频制作软件中，让内容创作者、教育工作者和商家都能轻松制作专业级的视频内容。