Lychee-FD：哈工大张民教授团队在全双工语音大模型领域取得重要突破，斩获ACL 2026杰出论文奖

导读

全双工语音对话是人类最自然的交流方式，是语音对话研究的梦想。相比文本输入，语音天然更接近人的交流方式，但现有语音对话常常停留在 “一问一答、听完再说” 的轮次式交互范式。

近期，OpenAI 发布的 GPT-Live 又一次将实时语音交互推至聚光灯下，也进一步印证了一个趋势：语音交互正在从轮次式问答，走向连续、双向、实时的自然交流。

但要真正实现这一目标，真正的难点，不只是让系统 “看起来可以被打断”，而是让持续倾听、语义理解、语音生成和节奏控制成为模型内部原生具备的能力。如何在保持语义理解能力与推理效率的同时，实现响应迅速、回答准确、对话自然的原生全双工语音交互，正是语音大模型走向类人交互的核心挑战。

近日，哈工大深圳计算与智能研究院立知（ Lychee ）大模型团队，在 2023 年研发的「立知」全模态理解和生成大模型（工信部和网信办双认证，Lychee: Uni-MoE-1.0-Omni 和 Lychee: Uni-MoE-2.0-Omni）基础上，迭代研发具有全双工语音对话功能的新一代大模型 Lychee: Uni-MoE-2.5-Omni。该模型语音双工核心技术斩获 ACL 2026 杰出论文奖。

同期，哈尔滨工业大学（深圳）联合深圳河套学院、腾讯PCG、香港中文大学（深圳），正式开源完全自主研发的原生端到端全双工语音大模型Lychee-FD

Lychee-FD 不仅在多个全双工语音交互基准上达到业内领先水平，也首次揭示了原生全双工语音大模型长期难以兼顾交互流畅度、语义理解能力与推理效率的根本原因，相关研究成果被国际自然语言处理顶会 ACL 2026 评选为 Outstanding Paper，获奖比例约 0.15%。

这意味着，全双工语音交互不再是靠外部模块拼凑出的产品体验，而是模型在连续语音流中同步倾听、理解与回应的交互本能 —— 它标志着语音交互真正走向了原生类人交互智能。

• 论文标题：Hierarchical Acoustic-Semantic Modeling: Modality Separation and Semantic Coherence for Full-Duplex SLMs
• 项目网站：https://hitsz-tmg.github.io/Lychee-FD
• 论文链接：https://arxiv.org/abs/2607.06540
• 代码链接：https://github.com/HITsz-TMG/Lychee-FD

01 什么是全双工？

视频链接：https://mp.weixin.qq.com/s/-V48BTKC0HwpmevTsry41A

前任发了一句在吗？Lychee-FD 告诉你如何应对

屏幕里的她是真实的表情机器人，会听也会说，你看到的不是一个 “先录音、后播报” 的动画，而是一个由全双工语音大模型驱动的实时并行处理语音流的机器人。

她会在你说话时注视你、点头、给出自然的回应；你随时打断，她立刻切换话题；她的表情、口型、语气都与对话上下文同步。

没有尴尬的停顿，没有机械的轮次。这就是原生全双工带来的呼吸感。

02 为什么过去的语音交互总是不自然？

过去的语音 AI，大多仍然运行在轮次交互的范式里：用户先说完，系统再识别、理解、生成、播报。它可以完成问答，但很难形成真正自然的交流。

后来，一些系统开始尝试全双工交互：在传统语音链路外部增加打断检测、状态判断和调度模块，让 AI 看起来可以边听边说。但这种系统级全双工，本质上仍然是多个模块在外部协作 —— 一个模块负责听，一个模块负责想，一个模块负责说，另一个模块负责判断什么时候该停、什么时候该接话。

然而，这种级联的架构不仅带来了延迟、生硬的轮次切换，并且还有更致命的问题：听、想、说、控节奏被拆散了，AI 的语音理解与表达就很难真正统一。

Lychee-FD 走了一条完全不同的路：原生端到端全双工。

Lychee-FD 不是在旧系统外面叠加全双工模块，而是把持续倾听、语义理解、语音生成和对话节奏控制，统一注入到大模型内部。Lychee-FD 不只是完成 “打断”、“附和”、“接话” 等单点功能，而成为模型在连续语音流中自然涌现的交互能力。模型不只是更快地回答，而是开始学会如何像人一样参与一段对话。

03 Lychee-FD：

原生端到端全双工语音大模型

为了实现这种流畅自然的类人交互，原生全双工遇到的挑战不只是边听边说。真正困难的是：模型既要保持大语言模型的理解和推理能力，又要实时生成自然语音，还要在连续对话中判断何时倾听、何时回应、何时停止输出。

过去很多方法往往只能在两端取舍：要么保留智能，但引入复杂模块和更高延迟；要么追求端到端低时延，却牺牲语义理解和知识保持能力。

Lychee-FD 的核心价值，在于它不是绕开这个问题，而是首次从模型优化机制上揭示了原生全双工语音大模型难以做好的根本原因，并围绕这一原因完成了架构设计与工程实现。

1. 科学洞察：揭示原生全双工降智的根本原因

在原生端到端全双工模型中，语音和语义并不是简单 “合在一起” 就能协同工作。

论文通过细粒度的优化动态分析发现，当声学建模和语义建模被迫共享同一套深层参数空间时，二者会出现内生的梯度冲突：浅层网络中，语音和文本目标仍然可以相互协同；但进入深层之后，它们的优化方向开始分化，甚至互相牵制。

这意味着，模型一边要学会 “怎么把话说得自然”，一边又要保持 “到底该说什么” 的语义推理能力。如果二者长期挤在同一套深层参数里学习，就容易产生模态干扰，最终表现为：语音变流畅了，知识和语义却被削弱；或者语义保住了，交互实时性又难以满足。

与此同时，论文还揭示了另一个关键问题：语义稀释。由于语音信号频率远高于文本语义信号，传统对齐方式会让稀疏的文本监督被高频声学信号淹没，导致模型在训练中逐渐偏向 “复现声音”，而削弱了对语义逻辑的保持。

这一发现解释了为什么原生全双工语音大模型长期难以同时做到 “聪明、自然、低时延”。问题不只是工程不够快，而是模型内部的语音生成和语义推理本身存在深层冲突。

2. 架构创新：用层次化解耦解决层次化冲突

找到问题之后，Lychee-FD 的方法并不是简单增加模块，而是在模型架构上做了对应设计。

团队提出了层次化语义 - 声学建模框架：在浅层，模型保留共享主干，让语音和语义共同学习底层表示；在深层，则将语义、声学和对话控制拆分为不同的专门通道，让它们各自完成最适合自己的建模任务。

简单来说，浅层负责 “共同理解输入”，深层负责 “各司其职”：语义通道保持语言理解和知识能力，声学通道生成自然语音，对话控制通道判断开始、停止和交互节奏。

这种设计与前面的科学洞察一一对应：既然冲突主要发生在深层，就不再强迫语义和声学在深层共享同一套参数；既然文本语义容易被高频语音信号稀释，就引入密集语义对齐通道，让模型在生成语音的同时保留清晰、连续的 “内部语义线索”。

因此，Lychee-FD 的全双工能力不是外挂的打断模块，也不是级联系统里的流程调度，而是被内化到模型架构中的原生交互能力。

它让模型能够在连续语音流中协同处理语义理解、语音生成和节奏控制，从而在保持推理效率的同时，兼顾语音智能与交互流畅度。

实验结果也验证了这一点：Lychee-FD 在 Spoken QA 任务上平均提升7.4%，在 FullDuplexBench 1.5 上平均提升28.5%，在 3 个全双工语音交互基准的 10 个指标上达到当前领先水平。

3. 工程实现：从论文模型到可在线交互系统

真正的全双工交互，最终必须落到实时系统里。

Lychee-FD 的架构同时生成语义、声学和控制信号，这对推理引擎提出了新的挑战。传统大语言模型推理框架通常面向单一路径、单一输出流设计，如果直接套用到多通道全双工模型上，多个专门通道会被顺序执行，带来额外延迟，影响实时对话的流畅度。

为此，团队以 vLLM 为高性能推理底座，围绕 Lychee-FD 的层次化多通道架构进行了定制化改造，开发了实时并行多流推理框架。具体来说，在共享主干完成计算后，系统会将中间表示分发到语义、声学和控制通道，使多个专门通道并行执行，并分别管理多流 KV cache，避免多通道生成在同一条推理路径上串行排队。相比基础推理框架，该并行多流推理框架实现了2.96 倍的提速，同时将 GPU 显存占用降低23%

同时，团队进一步提出控制头早退策略。由于打断、停说、转入倾听等行为首先依赖控制信号，系统不必等待完整语音和文本生成结束，而是让控制 Token 更早产出，为打断响应提供一条 “快速通道”。

并行多流推理解决了 “跑得慢” 的问题，控制头早退解决了 “反应慢” 的问题。两者共同把 Lychee-FD 从论文中的模型框架，推进到可以真实交互的数字人与机器人系统。

从科学洞察，到架构创新，再到在线推理引擎优化，Lychee-FD 完成了理论突破、算法创新和工程实现的全栈闭环。

04 从听见到看见：

当全双工语音拥有表情与形象

Lychee-FD 不是停留在论文里的概念。

围绕原生全双工语音交互能力，团队已经打通从模型推理到可视化呈现、从虚拟形象到实体机器人的完整展示链路。

接下来，我们通过数字人 Demo 与 Shennie 情感机器人，展示 Lychee-FD 如何让类人交互从 “听得见” 进一步走向 “看得见”。

Lychee-FD 驱动数字人：屏幕里的她，会听也会说

在数字人 Demo 中，Lychee-FD 不只是生成一段语音回答，而是驱动一个可以实时参与对话的虚拟形象。

你说话时，她在持续倾听；你停顿时，她不会机械抢话；你临时改变想法时，她也可以顺着新的语义继续回应。

更重要的是，语音、口型、表情和回应节奏不再是彼此分离的动画效果，而是围绕同一段连续对话同步发生。

这让数字人不再只是一个 “会播报答案的形象”，而开始接近一个真正与你共同构建对话的智能体。

该 Demo 的数字人表现层基于 Soul-LiveAct 开发。

视频链接：https://mp.weixin.qq.com/s/-V48BTKC0HwpmevTsry41A

视频链接：https://mp.weixin.qq.com/s/-V48BTKC0HwpmevTsry41A

Lychee-FD 驱动 Shennie 情感机器人：一张会 “倾听” 的实体脸

我们把 Lychee-FD 装进了一个真实的机器人头里。

它没有唤醒词，没有 “请开始说话” 的提示。

你说话时，它会用表情和简短的回应给你实时反馈；你犹豫时，它会耐心等待；你兴奋时，它的语调也会跟着上扬。

一个真正 “在场” 的对话伙伴，就该是这样。

机器人技术由港中深李海洲教授与朱建教授团队支持。

视频链接：https://mp.weixin.qq.com/s/-V48BTKC0HwpmevTsry41A

Lychee-FD 和用户围绕天体物理和科幻电影展开聊天对话

视频链接：https://mp.weixin.qq.com/s/-V48BTKC0HwpmevTsry41A

[英文] 和 Lychee-FD 探讨 AI 对未来行业的影响

05 开源 Lychee-FD：

让全双工语音走向更多真实场景

全双工语音交互正在成为下一代 AI 交互的重要方向。它所指向的，不只是更快的响应速度，也不只是更灵敏的打断能力，而是让 AI 在连续语音流中具备持续倾听、实时理解、自然回应和节奏控制的能力。

Lychee-FD 是哈工大张民教授立知大模型研究团队在类人交互方向上的一次扎实探索。它证明了全双工语音交互不必牺牲智能，端到端模型可以同时做到聪明、流畅和低延迟。

作为完全自主研发的原生端到端全双工语音大模型，Lychee-FD 的开源，也是让更多研究者和开发者能够基于同一个开放基础，复现实验结果、验证技术路线、拓展交互场景，并共同推动全双工语音智能向前发展。

面向未来，团队将继续推动 Lychee-FD 走向更多真实场景，包括复杂声学环境下的稳定交互、真实多人对话中的意图理解与节奏判断、数字人中的视觉表情融合，以及机器人实体交互中的在场感表达。

从模型开源，到场景探索，Lychee-FD 希望为原生全双工语音大模型建立一个开放起点。随着更多研究者、开发者和产业伙伴加入，全双工语音交互也将从前沿研究问题，逐步走向数字人、机器人、智能助手和更广泛的真实应用。

让 AI 不只会回答，而是真正学会交流。

作者介绍

论文第一作者刘振宇，是哈尔滨工业大学（深圳）与深圳河套学院联合培养二年级博士生，导师为户保田教授。在哈工大深圳张民教授立知大模型团队、深圳河套学院 AI 训练平台支持下，主攻全双工语音大模型与实时人机交互方向，累计发表NeurIPS、ACL、AAAI等CCF-A/B 类论文 8 篇，开源项目累计获得星标1k+。