网易首页 > 网易科技 > 网易科技 > 正文

从“一种声音”到“14种语言”无文本迁移,网易有道TTS模型实现零口音跨语种克隆

0
分享至

(原标题:从“一种声音”到“14种语言”无文本迁移,网易有道TTS模型实现零口音跨语种克隆)

当前,人工智能作为培育新质生产力的核心引擎,已上升为国家战略层面。国务院《关于深入实施“人工智能+”行动的意见》明确提出,要加快AI核心技术自主创新、降低产业落地门槛、构建开放共享的国产AI生态,推动人工智能与千行百业深度融合。

在这一战略背景下,网易有道正式推出“子曰4.0”大模型体系TTS语音合成引擎——Confucius4-TTS,并已面向全球用户开放。近日,该引擎凭借全球首个不依赖参考文本即可实现14语种无口音跨语种语音克隆的开创性突破引发行业高度关注,为数字人、跨境传播、智能教育等产业提供国产化、低成本语音克隆功能。

重磅开源发布,完整模型权重本地可部署

Confucius4-TTS采用1.3B参数高性能语音模型,开放行业领先的零样本语音克隆、跨语种无痕音色迁移、情感复刻能力,采用宽松友好的Apache开源协议,面向全球创作者、开发者开放完整模型权重与配套工具链。开发者可完整下载54G资源包,本地离线部署运行,配套开源龙虾智能体工具链,商用无限制。

三大技术突破,重新定义开源TTS天花板

突破一:3秒极速克隆,零样本即可复刻原声

Confucius4-TTS实现了真正的零样本语音克隆能力。用户仅需3秒即可完成音频克隆,克隆音色与原声相似度超过85%,克隆任务准确度高达97%。相较于初代EmotiVoice仅支持训练集内音色的局限,Confucius4-TTS实现了“无口语零样本复刻”的跨越式升级。

突破二:14种语言跨语种互通,彻底告别“中式口音”

Confucius4-TTS全面支持中、英、日、韩、德、法、西、印尼、意、泰、葡、俄、马来、越南语等14种语言的自然流利表达。其最大亮点在于解决了语音合成领域长期存在的跨语种口音痛点——用户上传中文音频,AI即可用该音色流利说出日语、英语等外语,发音地道自然。技术博主@XAMTO_AI评价:“你拿中文声音去讲日语,听着就像地道的日本人在说话,彻底告别了‘外国人在那儿硬凹’的尴尬。”

突破三:音频Prompt情感克隆,语调韵律精准迁移

区别于初代EmotiVoice仅支持“happy/sad/angry”等离散文本标签的粗放式情感控制,Confucius4-TTS创新性地支持音频Prompt情感克隆迁移。系统可自动提取参考音频中的情感标签,精准复刻其语调、韵律,支持跨语种无损迁移——“只要生气地说一句话,合成出来的外语也是生气的语气。”

全栈技术架构升级,从“传统声码器”到“大模型驱动”

Confucius4-TTS在底层架构上实现了全面革新。相较于初代EmotiVoice采用传统HiFi-GAN声码器和Speaker ID查表的方案,Confucius4-TTS引入了GPT式语义大模型作为主干,搭配基于SSL预训练特征和ECAPA-TDNN的可学习说话人编码器,并采用Flow Matching流匹配生成框架实现高保真、高自然度的语音合成。

语音克隆方面,EmotiVoice不支持克隆功能,而Confucius4-TTS不仅只需3秒音频即可完成克隆,而且无需参考文本。

社区反响热烈,开发者实测验证

自开源以来,Confucius4-TTS迅速获得开发者社区的积极反馈。技术博主@dsd2077在实测使用日语人声的参考音频生成中文语音,表示虽无法100% 复刻细微音色,但整体听感自然流畅,无生硬外语口音。

另一位技术博主@XAMTO_AI评价道:“这回是真开源——人家给的是真权重而不是只给API,整整54个G直接让你下,还能本地跑。做口播配音数字人,省钱又好用。”

文章配图-1

图2技术博主@dsd2077实测反馈

文章配图-1

图3技术博主@XAMTO_AI实测反馈

文章配图-1

图4 AI博主刘聪NLP测评

Confucius4-TTS的低门槛语音克隆和情感合成能力,可广泛应用于多语种内容创作、数字人配音、跨语言教学以及本地化运营等多种场景。

网易有道表示,希望通过全量开源Confucius4-TTS,降低语音克隆和情感合成的门槛,期待社区探索出更多有趣、有用的新玩法。

相关推荐
热点推荐
亲西方的梅德韦杰夫早就被抛弃,他现在做的一切只为自救

亲西方的梅德韦杰夫早就被抛弃,他现在做的一切只为自救

心灵得以滋养
2026-06-25 00:05:19
美国全身而退,让俄罗斯既无奈又嫉妒,特朗普又赢麻了!

美国全身而退,让俄罗斯既无奈又嫉妒,特朗普又赢麻了!

林子说事
2026-06-23 03:49:45
英3名囚犯联手杀死虐童重刑犯?狱警疑睁一只眼闭一只眼…

英3名囚犯联手杀死虐童重刑犯?狱警疑睁一只眼闭一只眼…

英国报姐
2026-06-24 01:10:40
有性生活和没性生活,身体会出卖你!第三个区别,很多人没想到

有性生活和没性生活,身体会出卖你!第三个区别,很多人没想到

健康科普365
2026-05-30 16:30:29
48小时内,台军、美军、日军全动了,日媒:高市有对付中国的王牌

48小时内,台军、美军、日军全动了,日媒:高市有对付中国的王牌

卷史
2026-06-22 10:25:13
俄罗斯现在大事不妙,难以抗住乌军的突袭,普京开始着急谈判?

俄罗斯现在大事不妙,难以抗住乌军的突袭,普京开始着急谈判?

音乐时光的娱乐
2026-06-25 00:55:43
百万粉丝女博主在线相亲:谁替我还12万我就嫁给谁!

百万粉丝女博主在线相亲:谁替我还12万我就嫁给谁!

曹莽看世界
2026-06-24 17:30:28
“看面相就是个死心眼儿”,农村大专女火了,忙了一天啥也不是

“看面相就是个死心眼儿”,农村大专女火了,忙了一天啥也不是

熙熙说教
2026-06-23 19:12:34
运城13岁女孩称被强奸,“他们逼我去撤案”

运城13岁女孩称被强奸,“他们逼我去撤案”

中国新闻周刊
2026-06-24 22:25:05
一个残酷真相:再过三年,再大牌的明星,也可能彻底无戏可拍

一个残酷真相:再过三年,再大牌的明星,也可能彻底无戏可拍

一盅情怀
2026-06-23 13:34:28
“清淡饮食”正在毁掉中老年人的血管!我国近20%的老年人患有肌少症,不吃肉,血管反而越来越脆

“清淡饮食”正在毁掉中老年人的血管!我国近20%的老年人患有肌少症,不吃肉,血管反而越来越脆

消化石医生
2026-06-05 21:28:28
6月24日,万众期待的2026年养老金调整通知公布了吗?涨2%很难吗

6月24日,万众期待的2026年养老金调整通知公布了吗?涨2%很难吗

社保小达人
2026-06-24 12:04:54
中国罕见谴责乌克兰,已严肃表态,泽连斯基不要挑战中国底线

中国罕见谴责乌克兰,已严肃表态,泽连斯基不要挑战中国底线

凡知
2026-06-24 10:18:03
全球首次,AI 自主杀人

全球首次,AI 自主杀人

新动察
2026-06-22 15:06:59
养路费大调整!油车电车终于公平了,普通家用车主基本不花钱

养路费大调整!油车电车终于公平了,普通家用车主基本不花钱

阿芒娱乐说
2026-06-24 16:02:28
超过俄罗斯,世界第二定了?

超过俄罗斯,世界第二定了?

新动察
2026-06-23 11:06:55
震惊!37岁女子向男友发婚嫁清单,各项开支总额高达273.4888万元

震惊!37岁女子向男友发婚嫁清单,各项开支总额高达273.4888万元

火山詩话
2026-06-24 05:29:08
大衣哥再登热搜!演出结束与友人聚餐,面前放满光瓶白酒,引热议

大衣哥再登热搜!演出结束与友人聚餐,面前放满光瓶白酒,引热议

火山詩话
2026-06-22 08:06:53
8000多辆军车成了废铁,克里米亚彻底断供!

8000多辆军车成了废铁,克里米亚彻底断供!

果妈聊娱乐
2026-06-13 15:24:53
穆里尼奥硬刚管理层!全皇马嫌弃的 6000 万水货,他却当宝贝留着

穆里尼奥硬刚管理层!全皇马嫌弃的 6000 万水货,他却当宝贝留着

澜归序
2026-06-21 05:18:50
2026-06-25 02:24:49

科技要闻

豆包专业版上线:定价68-500元每月

头条要闻

15岁男孩肥胖诱发糖尿病 抢救无效离世

头条要闻

15岁男孩肥胖诱发糖尿病 抢救无效离世

体育要闻

字母哥,会把凯尔特人拆了吗?

娱乐要闻

向佐向佑兄弟合体直播!母子终于和解

财经要闻

逃税23亿:审计署年报直指七家机构

汽车要闻

施鹏泽:为什么奥迪E7X强调座舱气味安全?

态度原创

健康
家居
旅游
数码
军事航空

神经内科专家破解中风十大谣言

家居要闻

绿意盎然 自然之境

旅游要闻

赤石河畔绿意浓,深汕小漠纯水岸公园建成开放

数码要闻

三星电子公众号注销!家电业务已官宣退出中国大陆市场

军事要闻

伊朗代表:霍尔木兹海峡已免费开放

无障碍浏览 进入关怀版