网易首页 > 网易号 > 正文 申请入驻

中国造播客语音合成模型开源 可“零样本”生成川话、粤语等方言多轮对话丨预见·科技

0
分享至

封面新闻记者 欧阳宏宇

具身智能进入千千万万家庭服务场景,让其能开口说方言是重要的一环。继通义、星火、混元等大模型之后,又有更多的国产语音合成模型开源,甚至可以零样板“凭空”生成方言风格语音。

记者10月29日获悉,播客语音合成模型SoulX-Podcast在近日开源。据悉,该模型是一款专为多人、多轮对话场景打造的语音生成模型,支持中、英、川、粤等多语种/方言与副语言风格,能稳定输出超60分钟、自然流畅、角色切换准确、韵律起伏丰富的多轮语音对话。

除了播客场景以外,该模型还可以在通用语音合成或克隆场景下也表现出色,带来更真实、更生动的语音体验。

据了解,SoulX-Podcast由Soul App AI团队(Soul AI Lab)开发,其技术原理借助LLM + Flow Matching的语音生成范式,由前者建模语义token,后者进一步建模声学特征。在基于LLM的语义token建模方面,其以 Qwen3-1.7B 作为基座模型,并基于原始文本模型参数进行初始化,以充分继承其语言理解能力。

基于这一技术策略后,该模型可以在零样本场景中,能高度还原参考语音的音色与风格,甚至更能根据对话语境灵活调节韵律与节奏;在多轮长时对话中,依然能保持声音的连贯与表达的真实。此外,SoulX-Podcast 还支持笑声、清嗓等多种副语言元素的可控生成。

除中英文外,该模型还支持四川话、河南话、粤语等方言,甚至跨方言音色克隆,即可提供普通话的参考语音,生成带有四川话、河南话、粤语等方言特征的自然语音。

业内人士分析称,业界能够稳定支持多轮自然对话的开源播客生成模型相对较少,并且当场景从单人独白扩展到多人对话与长篇播客时也普遍面临问题。类似模型可赋予AI自主决策对话节奏的能力,实现更接近生活日常的交互对话和“类真人”的情感陪伴体验。

对此,其研发团队表示,未来将持续聚焦语音对话合成、全双工语音通话、拟人化表达、视觉交互等核心交互能力的提升,并加速技术在多样化应用场景与整体生态中的融合落地,为用户带来更加沉浸、智能且富有温度的交互体验,持续提升个体的幸福感与归属感。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
善恶有报,移居英国仅2年,57岁吴秀波再迎噩耗,步入李易峰后尘

善恶有报,移居英国仅2年,57岁吴秀波再迎噩耗,步入李易峰后尘

有范又有料
2025-12-17 14:54:06
沙尔克04主席:我们2.5小时卖了4万件球衣,阿迪都震惊了

沙尔克04主席:我们2.5小时卖了4万件球衣,阿迪都震惊了

懂球帝
2026-08-11 21:05:22
一口气刷完,Netflix爽剧又杀疯了

一口气刷完,Netflix爽剧又杀疯了

来看美剧
2026-08-11 20:05:19
戴笠路过公馆一眼看上军统科长李修凯的妻子,马上叫副官上门传话,短短一句话吓得夫妻俩脸色惨白,原本美满的家庭就此彻底破碎

戴笠路过公馆一眼看上军统科长李修凯的妻子,马上叫副官上门传话,短短一句话吓得夫妻俩脸色惨白,原本美满的家庭就此彻底破碎

磊子讲史
2026-08-04 18:33:44
异性之间:发现一个很玄学的现象,一个女人如果不花这个男人的钱,他们的感情基本不稳固

异性之间:发现一个很玄学的现象,一个女人如果不花这个男人的钱,他们的感情基本不稳固

LULU生活家
2026-08-10 20:22:09
消费降级后大家第一个砍的是什么?网友:第一个直接杀死比赛!

消费降级后大家第一个砍的是什么?网友:第一个直接杀死比赛!

夜深爱杂谈
2026-08-03 21:18:54
英法德意发表联合声明,警告俄若吞并南奥塞梯将遭强力反击!

英法德意发表联合声明,警告俄若吞并南奥塞梯将遭强力反击!

随梦而飞起
2026-08-11 00:36:14
大批中国人涌入朝鲜!当地人越看越疑惑:为啥中国人都这样?

大批中国人涌入朝鲜!当地人越看越疑惑:为啥中国人都这样?

历史的烟火
2026-08-09 12:19:31
奉劝大家,千万不要过度运动,我老婆就是个活生生的例子

奉劝大家,千万不要过度运动,我老婆就是个活生生的例子

千秋文化
2026-07-13 19:29:46
瑞典大满贯女单大翻车!奥运亚军2:3惨败,陈熠或再战张本美和

瑞典大满贯女单大翻车!奥运亚军2:3惨败,陈熠或再战张本美和

史智文道
2026-08-11 10:12:27
一通录音把冯志勇架在火上:郭红波停职之后,还有更多疑问待解开

一通录音把冯志勇架在火上:郭红波停职之后,还有更多疑问待解开

十为先生
2026-08-06 17:13:05
大病最危险信号,不是消瘦,而是睡觉时频繁出现这5个表现

大病最危险信号,不是消瘦,而是睡觉时频繁出现这5个表现

芹姐说生活
2026-08-10 22:51:46
15家“人形机器人”龙头企业(名单)

15家“人形机器人”龙头企业(名单)

侃故事的阿庆
2026-08-10 09:18:33
土耳其外长警告,这场战争可能会将俄罗斯逼至动用核武器的境地

土耳其外长警告,这场战争可能会将俄罗斯逼至动用核武器的境地

深度解析热点
2026-08-12 00:34:48
贾冰饭局偷拍事件引发热议,毕福剑的悲剧不该再次上演

贾冰饭局偷拍事件引发热议,毕福剑的悲剧不该再次上演

Mr王的饭后茶
2026-08-09 17:26:53
5年烧掉1个亿,500家店只剩11家,靠直播火遍全网的它,是怎么凉的?

5年烧掉1个亿,500家店只剩11家,靠直播火遍全网的它,是怎么凉的?

快刀财经
2026-08-12 00:21:37
在中国发现一个奇怪的现象:父母就像一个袋子,一旦父母不在了,什么舅舅姑姑表兄弟,就像袋子里的沙子,都散了,不再相互往来

在中国发现一个奇怪的现象:父母就像一个袋子,一旦父母不在了,什么舅舅姑姑表兄弟,就像袋子里的沙子,都散了,不再相互往来

心理观察局
2026-08-05 07:07:27
张雪峰走后5个月,被河南烧烤老板撞脸,却因AI造假被扒个底朝天

张雪峰走后5个月,被河南烧烤老板撞脸,却因AI造假被扒个底朝天

古事寻踪记
2026-08-10 09:27:40
学医后才知道,脑梗最危险信号,不是手脚麻,而是频繁出现4症状

学医后才知道,脑梗最危险信号,不是手脚麻,而是频繁出现4症状

叙说医疗健康
2026-06-01 10:00:20
0-7两连败狂丢12球!中国足球小将被打爆,前国脚摇头、董路无奈

0-7两连败狂丢12球!中国足球小将被打爆,前国脚摇头、董路无奈

粵語经典歌單
2026-08-03 08:15:21
2026-08-12 05:32:49
封面新闻 incentive-icons
封面新闻
第一眼,看封面。了解权威信息,看真实新闻故事(互联网新闻信息服务许可证:51120170004)。
362956文章数 890301关注度
往期回顾 全部

科技要闻

AI大战变天:扎克伯格突然回头

头条要闻

网红"雅典娜"失踪3年 好友:她被李姓女网友诱骗至境外

头条要闻

网红"雅典娜"失踪3年 好友:她被李姓女网友诱骗至境外

体育要闻

NBA老顽童,抽着大麻喝着小酒告别了

娱乐要闻

“雅典娜”确认被害 细节令人发指!

财经要闻

AI泡沫的剧本,是2008年的次贷危机?

汽车要闻

闪充/天神之眼B/云辇-C 2027款海豹06售9.99万元起

态度原创

时尚
亲子
家居
公开课
军事航空

时速60公里,“慢”车去南非

亲子要闻

一定要让孩子知道,朋友是流动的!

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

乌克兰袭击俄罗斯炼油厂 已致13死78伤

无障碍浏览 进入关怀版