网易首页 > 网易号 > 正文 申请入驻

刚刚,中国TTS又杀出一匹黑马:全球第一、超越谷歌

0
分享至



作者|林易

编辑|重点君

在全球AI语音竞技最激烈的两座最高峰上,中国初创团队刷爆了纪录。

一个是Hugging Face上的TTS Arena V2,登上Rating总榜第一,与ElevenLabs、Cartesia、Hume等主流语音模型同场竞技。



另一个是全球TTS权威榜单ArtificialAnalysis,以1220的Elo位列全球第三,超越谷歌!



不过你可能意想不到的是,能够在这两个榜单上分别拿下第一、击败谷歌这样的强敌的选手,是一支来自上海交通大学的学术与产业硬核跨界的初创团队——宇生月伴(VUI Labs)。他们凭借自研的Luna-TTS大模型,在自然度、极速响应与超强稳定性上展现了较好的成绩。

而且这两张榜单还有一个共同点——最后说了算的是人耳。

TTS Arena会把同一段文字交给两个匿名模型生成,用户盲听之后选择自己更喜欢的一段;Artificial Analysis同样根据真实用户的成对盲听结果计算Elo。换句话说,比的就是哪段声音听起来更自然。

两张真人盲听榜单同时冲到前列,相当于把一家年轻中国公司的语音能力,直接放进全球用户的耳朵里做了一次公开考试。

而这家公司背后,还有一层很容易让人记住的标签:上交系。

先别看参数,听听它怎么说

榜单数据固然亮眼,但TTS毕竟还是一门“耳听为实”的技术。

因此,接下来,我们就先来听听Luna-TTS在把话说准这方面的效果。

虽然这段仅仅9秒,内容也看起来并不难,但其实机场广播很适合测试TTS。

因为数字、字母和专有信息不能错,停顿和语速也要接近真实播报。一旦某个词的发音、断句或者节奏突然异常,整段声音的机械感会立刻冒出来。

Luna-TTS这段比较明显的一点,是信息密度虽然高,但整段没有被念成一串彼此孤立的单词。数字、地点和普通文本之间的衔接比较顺,语速也没有因为遇到特殊信息突然改变。

话说准了之后,我们继续看下模型能不能理解一句话应该怎么说

在这一段15秒左右的英文文本中,前半段写海面平静、微风掠过小船,后半段转到海豚跃出水面、在浪间飞驰。

同一段话里,叙事状态从舒缓转向动态。如果每个词都用同样的速度和力度念过去,内容虽然准确,听感还是很容易落回机器朗读。

这类case考验的是语义和韵律能否同步变化:哪里该慢、哪里该提速、哪个词该被强调。语音生成的核心,正在从“怎么发音”转向“先理解,再表达”。

而在说得准确、理解到位之后,情绪,则会让AI语音的难度更上一层楼。

同一个音色、同一句中文台词,分别换成neutral(平静)、sad(伤心)和surprised(惊讶)之后,可以听到三个版本的表达状态已经明显拉开。

而且情绪变化并不只是简单地把音调调高或者调低。人在惊讶时,语速、音高、力度和句尾通常会一起发生变化;到了悲伤状态,节奏又会慢下来,整体表达更加收敛。

对于TTS来说,这其实比单纯生成几个不同音色更难。因为模型既要改变表达,又不能因为情绪幅度变大,把原本的人声特征一并带跑。

除此之外,还有一些声音信息,甚至是没有直接写在文字里的。

比如轻微的呼吸、犹豫,带着回忆感的停顿,或者一句“Thank you, really”前后非常细小的情绪变化。

这些细节很难简单归进“开心”、“悲伤”这样的情绪标签里,却恰恰决定了一句话听起来像不像真人。

但真人说话时,我们几乎不会把所有句子干干净净地首尾相接。一次吸气、一小段停顿,甚至一句话快说完时力度慢慢收下来,都会传递额外的信息。

这也是为什么有些AI声音明明音质很好,却还是会让人觉得塑料——它把字都保留下来了,却把人说话时那些看似多余的东西删掉了。

Luna-TTS这里展示的能力,恰恰是在尝试把这些文字之外的信息重新放回声音里。

当然,上面展示的效果都比较简短,这次我们再来把文本拉长一下。

这段约33秒的英文叙事,从雨停后的山谷、窗外陆续亮起的灯光,一路讲到主人公背上未寄出的信,沿河出发。

相比短句,长文本更容易暴露音色漂移、节奏越来越僵、句间衔接不稳等问题,也更接近有声书、播客等真实应用。

除了听觉上的体感之外,在Luna-TTS的技术报告中,宇生月伴也给出了另一组交叉验证。

在Seed-TTS-Eval的结果中,Luna-TTS在中英文CER/WER以及说话人相似度四项指标上,都取得了参与对比系统中的最佳成绩。其中中文CER为0.73、SIM为79.7,英文WER为1.49、SIM为76.8。



到了更难、更接近真实世界文本的CV3-Eval,Luna-TTS在报告对比中的中文、英文错误率同样处在领先位置。



除此之外,在技术报告给出的情绪控制测试中,Luna-TTS拿到了最高的整体E-Sim、Expression Quality和人类E-MOS;副语言控制中,它的Recall和F1最高,整体自然度、质量和表达力评分也处于对比模型前列。



那么接下来的问题是,它是怎么让声音变“活”的?

一条全新的TTS生成路线

目前大量LLM式TTS采用的技术路线是自回归生成。

简单理解,就是先把语音离散成Token,再像语言模型写字一样,一个接一个往后生成。

这个范式很成熟,但语音和文字并不完全一样。尤其是RVQ编码后的语音,本质上是一张沿时间和码本深度展开的二维Token网格。强行给它规定唯一的从左到右顺序,会带来串行解码、误差沿前缀累积,以及前面生成后难以根据后文重新修正等问题。

Luna-TTS则是直接换了一条路线:Masked Diffusion,掩码扩散。它把整段语音的Token网格当成一个整体,在多轮迭代里并行预测被遮住的位置。



技术报告中,Luna-TTS完整语句默认经过32轮并行refinement。每一轮,模型可以优先确定更有把握的位置,再继续补全剩下的部分。于是生成顺序由模型在迭代过程中动态决定,对RVQ这种本来就没有天然“从左到右”顺序的结构更加贴合。

这套架构还有一处比较关键的设计。Luna-TTS Family使用自研的Luna-Codec,把24kHz语音编码成25Hz、8个码本的离散Token网格;主干模型从Qwen3-0.6B继续训练而来,直接对完整的多码本声学Token进行建模。

除此之外,在数据规模和质量方面,整个Luna-TTS Family在中文、英文、日文、韩文四种语言上进行了约100万小时语音预训练,随后又经过约10万小时高质量语音退火训练(annealing),再加入带有情绪和副语言标注的数据继续训练。

这也解释了前面效果展示里的“会表达”的部分能力是怎么来的。情绪和笑声、叹气、呼吸等非语言声音,在训练阶段就被作为可控制信息加入;之后团队又把GRPO式强化学习迁移到masked diffusion的去噪轨迹上,把内容正确性和说话人一致性纳入奖励优化。

当然,扩散模型常被问到的另一个问题是速度

VUI Labs又从Luna-TTS继续训练出了Luna-TTS Realtime,把整段并行生成改成1.28秒一个block的块级生成。block之间保持因果关系,block内部继续并行去噪,同时配合KV Cache做流式输出。按照技术报告的本地预热测试,在2张H20、8步并行CFG配置下,首个1.28秒音频block在41.6ms提交,端到端RTF为0.0240。

由此,再回头看两张Arena榜单,逻辑也就串起来了。Luna-TTS想解决的范围已经超过单一的“声音好听”。它试图同时把内容准确、韵律、情绪控制、声学细节和生成效率塞进一条统一的模型路线里。

榜单,则成了最终听感的一次外部验收。

一支上交系团队,押注声音成为Agent入口

除了产品和技术,Luna-TTS背后的这支黑马团队,也是这次成绩之外值得关注的一点。

VUI Labs宇生月伴的创始人、董事长钱彦旻,上海交通大学特聘教授。

根据上海交大AudioCC Lab公开资料显示,钱彦旻2012年博士毕业于清华大学电子工程系,2015年至2016年曾在剑桥大学工程系语音组担任访问研究员,同时也是Kaldi语音识别工具包的创始成员之一。

其长期从事语音与语言处理研究,公开资料显示已发表论文300余篇,总引用超过2万次,并拥有120余项中美专利授权,还曾带队六次获得国际挑战赛冠军。

公司另一位创始人、CEO梅杰,负责方向则更偏商业化一侧。

他毕业于浙江大学,曾任Aircourse/爱课COO,负责过业务增长、团队管理和商业化。在VUI Labs,他主要负责公司战略、商业化、融资和组织建设。

目前,VUI Labs科研团队超过40人,博士占比约50%,覆盖语音与音频、多模态大模型、训练推理系统、产品工程以及商业化。

一边是长期语音研究,一边是产品与商业化经验,这构成了VUI Labs的团队底色。

当然,资本市场的表现也是对一家公司实力的侧面印证。

今年2月,投中网报道VUI Labs完成数千万元天使+轮融资,由同创伟业领投,靖亚资本和小苗朗程继续加注;报道同时称,公司半年累计获得近亿元投资,资金将继续用于核心模型迭代、产品商业化以及Voice Agent平台建设。

如果说TTS曾经更像一项后台能力,可以给导航配音、给有声书念稿、给视频生成旁白。那么到了Agent时代,声音正在逐渐往交互入口移动。

一个语音Agent要进入电话、App、汽车、耳机或者各种智能硬件,既要听得懂,也要足够快地回应,还要在长时间交流里保持自然、可控和稳定。单纯“能合成语音”已经不够用了。

VUI Labs给自己的长期方向,同样放在Voice Agent和多模态交互上。公司资料显示,团队希望把语音理解、生成、实时对话以及工具调用等能力接进真实业务流程,目前覆盖客服、会议、教育、同传、内容生成、智能硬件和车载等方向。

从这个角度看,Luna-TTS更像其中负责“把AI说出来”的一块关键拼图。所以,这次全球第一和全球第三当然值得写,但更值得关注的,是它们背后的评价标准已经变了。

当TTS进入Agent,用户对声音的要求会从“听得清”,一路抬高到“听着像人、表达准确、反应还得足够快”。

榜单也会随着新模型和新投票持续变化。今天的第一、第三未必永远固定,但两张由真实用户盲听驱动的榜单,至少给了这家中国初创一次很清楚的外部坐标——

在全球TTS最卷的一批玩家里,它已经坐上了牌桌,而且位置相当靠前。

接下来真正要看的,是这种“会说话”的能力,能不能继续变成“会交流”的产品能力。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
宏远速递!徐杰带队打热身赛,杜锋深夜发声,陈老板看中新大外

宏远速递!徐杰带队打热身赛,杜锋深夜发声,陈老板看中新大外

多特体育说
2026-08-14 14:10:33
“韩杰案”后,儿科不敢救人,5家医院,4家拒诊!

“韩杰案”后,儿科不敢救人,5家医院,4家拒诊!

医脉圈
2026-08-13 22:42:14
仗打了1000多天,美国终于发现不对劲:原来中国三年前就选对了!

仗打了1000多天,美国终于发现不对劲:原来中国三年前就选对了!

疯狂的小历史
2026-08-05 09:30:03
有钱人真的不怎么吃东西吗?网友:真的,他们习惯保持饥饿感

有钱人真的不怎么吃东西吗?网友:真的,他们习惯保持饥饿感

夜深爱杂谈
2026-08-04 21:45:01
全身麻醉相当于死过一次?医生揭秘,麻醉时你的身体都经历了什么

全身麻醉相当于死过一次?医生揭秘,麻醉时你的身体都经历了什么

39健康网
2026-07-21 16:11:17
53岁郑秀文换大码内衣,揭开中年女人最狠底牌

53岁郑秀文换大码内衣,揭开中年女人最狠底牌

小椰的奶奶
2026-07-18 04:04:47
美媒曝普京下密令:今年从内部拆散北约欧盟,摩尔多瓦成第二目标

美媒曝普京下密令:今年从内部拆散北约欧盟,摩尔多瓦成第二目标

桂系007
2026-08-14 23:59:37
关晓彤事件升级!被强制执行1807万后,多段恋情被扒,父亲债务缠身被限高

关晓彤事件升级!被强制执行1807万后,多段恋情被扒,父亲债务缠身被限高

她时尚丫
2026-08-14 19:36:15
C罗、乔治娜民政登记文件披露:两人采用分别财产制,即双方约定婚前及婚后财产归各自所有

C罗、乔治娜民政登记文件披露:两人采用分别财产制,即双方约定婚前及婚后财产归各自所有

鲁中晨报
2026-08-13 20:54:04
数据骗不了人!上海楼市到底火不火?为什么大家感受完全不一样?

数据骗不了人!上海楼市到底火不火?为什么大家感受完全不一样?

石辰搞笑日常
2026-08-15 02:01:03
杜克连续两年崩盘无缘决赛,新赛季靠2028状元热门再冲冠

杜克连续两年崩盘无缘决赛,新赛季靠2028状元热门再冲冠

热血体育社
2026-08-14 22:40:37
堵上加堵街坊怒了!街坊报料佛山这些地方大马路成“免费车展”,停车场就在隔壁

堵上加堵街坊怒了!街坊报料佛山这些地方大马路成“免费车展”,停车场就在隔壁

小强热线
2026-08-14 22:42:36
朱女士“富太太人设”遭舆论质疑!网友:08年到19年10年时间,两人因二胎问题产生矛盾

朱女士“富太太人设”遭舆论质疑!网友:08年到19年10年时间,两人因二胎问题产生矛盾

火山詩话
2026-08-12 05:56:31
曾仕强:少跟孩子生气吧,他投胎到你家,是前世今生的缘分|再生气,也别拿孩子撒气

曾仕强:少跟孩子生气吧,他投胎到你家,是前世今生的缘分|再生气,也别拿孩子撒气

杏花烟雨江南的碧园
2026-07-27 16:15:03
终于等到KD发声了!杜兰特长文祝贺前队友威少退役:致以最深的爱意

终于等到KD发声了!杜兰特长文祝贺前队友威少退役:致以最深的爱意

罗说NBA
2026-08-14 05:02:21
一石三鸟!曼城布局,亏本甩卖赖因德斯,止损+补强只为拿下恩佐

一石三鸟!曼城布局,亏本甩卖赖因德斯,止损+补强只为拿下恩佐

宝哥精彩赛事
2026-08-15 01:09:27
社保局从不主动提醒!退休前1年必须办完4件事,少一件吃亏

社保局从不主动提醒!退休前1年必须办完4件事,少一件吃亏

娱乐圈见解说
2026-07-24 14:03:26
家里这几种东西别再留了!全是“鸡肋”,扔了才发现家变大了

家里这几种东西别再留了!全是“鸡肋”,扔了才发现家变大了

Home范
2026-08-13 13:43:59
刘烨儿子久违现身,16岁诺一身高超180,过了容貌尴尬期变更帅了

刘烨儿子久违现身,16岁诺一身高超180,过了容貌尴尬期变更帅了

潋滟晴方DAY
2026-06-28 13:01:32
林子聪住租来的房,六口人挤一百来平,却把2500万港币的房价算得明明白白

林子聪住租来的房,六口人挤一百来平,却把2500万港币的房价算得明明白白

东方不败然多多
2026-08-14 06:37:15
2026-08-15 03:43:00
划重点KeyPoints incentive-icons
划重点KeyPoints
去除噪音,划下重点
263文章数 18关注度
往期回顾 全部

科技要闻

苹果为中国训练自有大模型,阿里提供支持

头条要闻

"龙餐馆"原型餐厅合伙人:美军聚餐经常吃一半集体起立

头条要闻

"龙餐馆"原型餐厅合伙人:美军聚餐经常吃一半集体起立

体育要闻

离开雷霆后,威少再也没成为威少

娱乐要闻

郭麒麟瘦到全网认不出,为新剧塑形

财经要闻

便利蜂加盟遭立案:“0元加盟”生意被查

汽车要闻

红旗“家”年华现场:这一次,智能科技成了主角

态度原创

旅游
数码
游戏
手机
亲子

旅游要闻

走遍国内大小寺院,唯独这座滇中古刹,用一段草木传说治愈无数人!

数码要闻

美商海盗船Clipper Pro mini 60上市:60%键盘配列 黑白同价799元

国产《古剑》新图美术惊艳 生死交界设定太对味了

手机要闻

小米澎湃OS 4将按用户申请顺序分两批逐步放量推送,第二批十天内

亲子要闻

醒悟吧!养育没有标准答案~

无障碍浏览 进入关怀版