字节跳动发布FlowAct-R1：虚拟数字人实时互动的重大突破

这项由字节跳动智能创作团队开展的研究发表于2026年1月16日，以arXiv预印本形式发布（论文编号：arXiv:2601.10103v1 [cs.CV]）。有兴趣深入了解的读者可以通过该编号查询完整论文。

当我们在视频通话时，屏幕对面的人能够实时地对我们的话语做出反应——点头、微笑、皱眉，这些看似简单的互动其实蕴含着极其复杂的技术挑战。如今，字节跳动的研究团队向我们展示了一个令人惊叹的成果：他们创造出了一个名为FlowAct-R1的系统，能够让虚拟数字人像真人一样与我们进行自然、流畅的实时对话。

想象一下，你正在与一位朋友视频聊天，但这位朋友实际上是由人工智能生成的虚拟角色。当你说话时，这个虚拟朋友不仅能够准确地模仿嘴唇动作与你的声音同步，还能做出恰当的面部表情、手势动作，甚至在你停顿思考时表现出耐心等待的神态。更神奇的是，这一切都在极短的时间内完成——从你开始说话到看见虚拟朋友的反应，延迟时间仅有约1.5秒，几乎与真人反应速度相当。

过去，制作这样的虚拟角色就像是在厨房里制作一道复杂的菜肴，需要大量时间进行精心准备。厨师必须先准备所有食材，然后按照严格的步骤一步步烹饪，最后才能上桌。类似地，传统的数字人生成技术需要大量的计算时间来处理每一帧画面，无法满足实时互动的需求。有些系统虽然能够快速响应，但生成的画面质量较低，动作僵硬不自然；而那些能够产生高质量画面的系统，则需要很长时间才能完成处理，根本无法用于实时对话。

FlowAct-R1的创新之处在于，它就像是发明了一种全新的"快速烹饪法"，能够在保证菜品美味的同时大幅缩短制作时间。研究团队基于一个叫做MMDiT（多模态扩散变换器）的先进架构，开发出了这套革命性的实时数字人生成框架。这个框架能够同时处理文字、语音和图像信息，就像一个经验丰富的厨师能够同时处理多种不同的食材和调料，最终调配出完美的菜肴。

这项技术的核心创新可以比作搭建一座流水线工厂。在传统的生产模式中，必须等待一个产品完全制作完成后才能开始下一个产品的生产。但FlowAct-R1采用了一种叫做"分块扩散强制"的策略，就像设置了一条高效的流水线，可以同时处理多个生产阶段。当系统在生成视频的某一部分时，同时已经开始准备下一部分的内容，这样就实现了连续不断的视频流输出。

为了确保长时间对话中画面质量不会下降，研究团队还设计了一个精巧的"记忆银行"系统。这个系统就像是一个有着不同时间尺度记忆的大脑，它包含了四个关键组件。首先是"参考基准"，就像是我们记忆中某个人的基本样貌，确保虚拟角色在整个对话过程中保持身份的一致性。接着是"长期记忆队列"，保存着之前对话中的重要动作信息，确保角色的行为具有连贯性。"短期记忆"则负责维持最近动作的平滑过渡，防止出现突兀的画面跳跃。最后是"处理流水线"，负责实时生成新的画面内容。

这种记忆系统的设计非常巧妙，就像是一个经验丰富的演员在表演时既要记住自己角色的基本特征，又要根据剧情的发展做出恰当的反应，同时还要确保每个动作都与前后情节自然衔接。通过这种方式，FlowAct-R1能够在长达任意时长的对话中保持画面的高质量和动作的自然性。

在技术优化方面，研究团队采用了多阶段的"提纯"策略，就像是制作浓缩咖啡的过程。他们首先将原本需要大量计算步骤的生成过程压缩到仅需3个主要步骤，就好比将复杂的咖啡制作流程精简为几个关键操作，既保持了咖啡的浓郁香味，又大大缩短了制作时间。通过这种优化，系统能够在保证画面质量的同时实现每秒25帧的实时生成速度。

除了核心算法的优化，团队还在系统工程层面进行了大量改进。他们采用了精确的数值量化技术，就像是在不影响食物营养价值的前提下压缩食物体积，使得系统能够在有限的硬件资源下运行更快。同时，他们还设计了并行处理策略，将原本需要顺序执行的任务改为同时执行，就像是在厨房里同时使用多个炉灶来加速烹饪过程。

特别值得关注的是，FlowAct-R1不仅仅能够生成逼真的面部表情，还能控制全身的动作和姿态。当虚拟角色在说话时，它不仅会有准确的唇形同步，还会配合适当的手势、身体姿态和微表情，就像真人在交流时的自然状态。系统甚至能够识别对话的不同状态——比如当用户在说话时，虚拟角色会表现出专注聆听的样子；当轮到虚拟角色表达时，它会展现出生动的表达姿态；在对话间隙，它也会保持自然的待机状态，而不是僵硬地静止不动。

为了让虚拟角色的行为更加自然和智能，研究团队还引入了一个多模态大语言模型作为"行为规划师"。这个规划师就像是一个经验丰富的导演，能够根据对话的内容和语境来预测接下来应该做出什么样的动作和表情。当系统接收到语音信息时，这个规划师会分析语音的内容和情感色彩，然后指导虚拟角色做出最合适的反应。

在实际性能测试中，FlowAct-R1在NVIDIA A100平台上实现了稳定的480p分辨率、每秒25帧的实时视频生成，首帧显示时间仅需约1.5秒。这意味着当用户开始与虚拟角色对话时，几乎不会感受到明显的延迟，整个交互体验接近与真人对话的自然感受。

研究团队通过与其他先进系统的对比实验验证了FlowAct-R1的优越性。他们邀请了20名参与者进行用户体验研究，采用"好-相同-差"的评价标准，从动作自然度、唇形同步准确性、画面结构稳定性和动作丰富度等多个维度进行评估。结果显示，FlowAct-R1在所有评估指标上都显著优于现有的其他系统。

相比于KlingAvatar 2.0这样能够生成高质量视频但无法实时互动的系统，FlowAct-R1实现了质量与速度的完美平衡。与LiveAvatar等能够实时生成但存在动作重复问题的系统相比，FlowAct-R1通过智能的行为规划避免了动作单调的问题，让虚拟角色的表现更加生动多样。

这项技术的应用前景极其广阔。在直播领域，主播可以使用虚拟形象进行直播，既保护了隐私又能提供稳定的视觉效果。在客服行业，虚拟客服代表可以提供24小时不间断的服务，并且能够根据用户的情绪和问题类型调整自己的表达方式。在教育领域，虚拟教师可以为学生提供个性化的互动教学体验。在娱乐产业，游戏角色和虚拟偶像可以与粉丝进行更加真实的互动。

当然，这项技术也带来了一些需要思考的问题。正如研究团队在论文中坦诚提到的，这种高度逼真的虚拟人技术可能被误用来制作虚假或有害的内容。为了负责任地推广这项技术，研究团队承诺将实施严格的访问控制政策，确保技术只提供给经过验证的实体用于合法和道德的用途。值得一提的是，他们在演示中使用的所有人物图像都是通过AI工具生成的，以确保隐私和版权的合规性。

说到底，FlowAct-R1代表了数字人技术发展的一个重要里程碑。它不仅解决了长期困扰该领域的实时性与质量平衡问题，更为未来的人机交互开辟了新的可能性。随着这项技术的不断完善和普及，我们或许很快就能体验到与虚拟角色进行自然对话的奇妙感受，这将深刻改变我们与数字世界互动的方式。

Q&A

Q1：FlowAct-R1是什么？

A：FlowAct-R1是由字节跳动智能创作团队开发的实时虚拟数字人生成系统。它能让虚拟角色像真人一样与用户进行自然对话，包括准确的唇形同步、面部表情、手势动作等，延迟时间仅约1.5秒，几乎达到真人反应速度。

Q2：FlowAct-R1与其他数字人技术有什么区别？

A：FlowAct-R1同时实现了实时交互、高画质和全身控制三个关键能力。相比其他系统要么速度快但质量低，要么质量高但速度慢，FlowAct-R1通过创新的"分块扩散强制"策略和记忆银行系统，在保证480p高清画质的同时实现每秒25帧的实时生成。

Q3：FlowAct-R1可以应用在哪些场景？

A：FlowAct-R1的应用场景非常广泛，包括直播（主播可用虚拟形象保护隐私）、客服（提供24小时虚拟客服代表）、教育（虚拟教师个性化教学）、娱乐（游戏角色和虚拟偶像互动）以及视频会议等领域，将深刻改变人机交互方式。