网易首页 > 网易号 > 正文 申请入驻

AI音频生成重要突破!清华×生数科技最新研究被ACM顶会收录

0
分享至

智东西(公众号:zhidxcom)

作者| 王涵

编辑| 漠影

智东西7月23日报道,7月11日,清华大学和生数科技发表合作论文,正式推出一种基于免训练方法的精准时间可控长时文生音频系统FreeAudio。

据介绍,该系统无需额外训练,可以基于自然语言文本与时间提示实现精确的时间控制与长时音频生成,突破10秒时长限制,解锁了10秒以上场景的文生音效时间精准可控。

该方法利用LLM对时间结构进行规划,将文本与时间提示解析为一系列互不重叠的时间窗口,并为每个窗口生成适配的自然语言描述。随后,FreeAudio再依次生成各时间片段的音频内容,并通过上下文融合与参考引导机制实现最终的长时音频合成。

目前相关研究成果已被计算机多媒体领域的国际顶级会议ACM Multimedia 2025录用,并由AC推荐为Oral录取。

此前,生数科技曾联合清华大学推出文生音效系统,自称是全球首个实现10秒内精准时间控制的商业落地系统,支持独立时间窗音效生成,其多音轨时间窗可控功能已通过生数科技Vidu平台落地商用。

一、3大核心技术,FreeAudio系统突破10秒时长瓶颈

文生音频(T2A)生成技术虽在生成模型推动下取得进展,但受限于时间对齐的音频-文本数据质量和数量,现有系统在处理含精确时间控制的复杂文本提示时表现不佳。

即便部分研究通过数据增强或引入时间条件实现了10秒内的时间可控生成,生成质量仍有限。此外,多数公开音频数据集时长较短(通常约 10 秒),且标注较粗,制约了细粒度时间控制和长时连贯性模型的发展。

清华大学和生数科技合作研发的FreeAudio系统,能够依据自然语言文本与时间提示,无需额外训练即可同时支持时间控制与长时生成,突破了10秒时长限制,其主要有3大核心技术:

1、LLM规划:

该系统利用大语言模型(LLM)的规划能力,将文本和时间提示转换为一系列非重叠时间窗口,每个窗口配有自然语言重新描述,解决时间重叠和间隙问题。

时间可控音频生成的LLM Planning和Decoupling & Aggregating Attention Control模块

2、解耦与聚合注意力控制:

在DiT-based T2A模型基础上,该系统对基础潜变量按时间窗口分割,引导每个子段与对应重新描述提示独立进行交叉注意力计算,再将子段聚合整合,实现时间对齐和全局一致性。

长时音频生成的整体架构图

3、长时生成优化技术:

(1)上下文潜变量合成:FreeAudio系统通过处理相邻音频段重叠区域,增强局部边界平滑度;

(2)参考引导:在自注意力模块中,该系统利用参考音频特征,维持长时音频的全局一致性;

(3)上下文修剪与拼接:该系统去除重叠区域冗余部分,后将解码后的段拼接,以生成最终长时音频。

二、多项指标得分最优,长时生成能力排名第一

在时间可控音频生成实验中,在AudioCondition测试集上,FreeAudio系统的事件级(Eb)和片段级(At)得分均排名第一。

在客观指标方面,FreeAudio系统的FAD和KL散度与最优的训练型模型相当,CLAP分数排名第一。在主观评估中,FreeAudio系统同样获得了最高的时间一致性与音频可听性评分。

进一步的消融实验表明,参考引导技术有效提升了长时音频的全局一致性,当λ在0.1至0.2范围内时,各项指标均表现最优,在同类设置中排名第一。

在长时生成性能上,针对26秒和90秒生成任务,FreeAudio系统在多数指标上排名第一,在主观评估中,其质量、一致性和连贯性三个维度的得分均排名第一。

三、将继续研究更长时长机制,FreeAudio或在Vidu产品端上线

此次推出的FreeAudio系统实现了新的技术突破,即突破10秒时长限制,能够在10秒以上场景中实现文生音效的时间精准控制。

总的来说,该系统解决了多个行业痛点,如避免音效版权风险,解决音效匹配难题;大幅降低音效制作成本;支持多音轨秒级对齐,如环境声与动物鸣叫可精准叠加等。

据了解,FreeAudio系统未来或将考虑在Vidu产品端上线。研发团队计划在未来进一步探索结合自然语言事件描述的训练式时间控制文本到音频生成系统,以提升时间对齐精度和音频生成质量。

在长时音频生成方面,未来他们还计划研究支持更长时长甚至无限长生成的机制,同时希望将该方法拓展至空间音频生成等方向,以支持更多样的听觉场景。

结语:FreeAudio系统具备应用潜力

随着AI音频生成技术的加速发展,市场对精准时间控制和长时音频生成的需求日益凸显,但现有方案在时长限制、版权风险及制作成本等方面仍存在瓶颈。

FreeAudio系统突破了“10秒魔咒”,技术成果获国际顶级会议认可,为行业提供了新的解决方案。未来随着商业化落地及技术迭代,其在影视音效等领域的应用潜力值得关注。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国总统特朗普抵达深圳

美国总统特朗普抵达深圳

界面新闻
2026-11-18 16:42:19
终于看明白了!高油价正在复制香烟的涨价套路,老百姓却不玩了?

终于看明白了!高油价正在复制香烟的涨价套路,老百姓却不玩了?

混沌录
2026-11-18 19:29:09
这才是宋氏三姐妹真实的相貌,不是演员扮演的角色!

这才是宋氏三姐妹真实的相貌,不是演员扮演的角色!

历史伟人录
2025-05-08 10:08:01
日本3岁女童惨死家中!全身50多处淤青、食道破裂!亲妈多次目睹丈夫施暴却未阻止!

日本3岁女童惨死家中!全身50多处淤青、食道破裂!亲妈多次目睹丈夫施暴却未阻止!

东京新青年
2026-11-17 19:22:35
五角大楼批评乌打击俄远离前线目标,德国防长力挺乌克兰

五角大楼批评乌打击俄远离前线目标,德国防长力挺乌克兰

参考消息
2026-11-18 18:51:07
来了来了!曝重磅加盟!NBA杀神搭档高诗岩

来了来了!曝重磅加盟!NBA杀神搭档高诗岩

篮球实战宝典
2026-11-18 15:24:02
俄罗斯外交部长专门谈到台湾问题!11月18日,俄外长拉夫罗夫表示

俄罗斯外交部长专门谈到台湾问题!11月18日,俄外长拉夫罗夫表示

果妈聊娱乐
2026-11-18 12:25:45
中国第二轮“严打”来了,这次查的更严,一旦查到谁都跑不了!

中国第二轮“严打”来了,这次查的更严,一旦查到谁都跑不了!

职场资深秘书
2026-11-18 15:57:52
普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

巷北楠猫本尊
2026-11-17 16:13:32
“我儿子敢这样穿,我上去就是一巴掌”,儿子一套低认知穿搭,家长还发到网上炫耀,网友怒了

“我儿子敢这样穿,我上去就是一巴掌”,儿子一套低认知穿搭,家长还发到网上炫耀,网友怒了

蝴蝶花雨话教育
2026-11-18 00:05:17
中方寸步不让!荷兰心急如焚

中方寸步不让!荷兰心急如焚

戎评
2026-11-18 13:56:41
今年“双十一”或是最惨的一年!业绩遇冷引内部通报,有管理者怒斥运营躺平

今年“双十一”或是最惨的一年!业绩遇冷引内部通报,有管理者怒斥运营躺平

火山詩话
2026-11-16 09:15:37
陆毅女儿贝儿进娱乐圈了,18岁签约百沐娱乐,以歌手身份高调出道

陆毅女儿贝儿进娱乐圈了,18岁签约百沐娱乐,以歌手身份高调出道

观鱼听雨
2026-11-18 17:42:38
女子30万元买下网剧3%收益权,上线5个月仅能分得17元 诉请出品方付30万回购,一审判了

女子30万元买下网剧3%收益权,上线5个月仅能分得17元 诉请出品方付30万回购,一审判了

红星新闻
2026-11-18 11:19:59
红船观察丨王忠林被查,权威声音释放关键信息

红船观察丨王忠林被查,权威声音释放关键信息

红船融媒
2026-11-17 11:36:09
“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

极目新闻
2026-11-16 11:21:01
刚刚通报!重庆三名干部被查处

刚刚通报!重庆三名干部被查处

新浪财经
2026-11-18 19:34:45
一旦我国出生人口跌破700W会怎样?网友们竟都直言不讳!真有条有理

一旦我国出生人口跌破700W会怎样?网友们竟都直言不讳!真有条有理

夜深爱杂谈
2026-11-17 20:43:25
中美建交47年,还没有任何一个在任美国总统敢落地台湾。

中美建交47年,还没有任何一个在任美国总统敢落地台湾。

叶葉夜
2026-11-15 13:56:44
广西壮族自治区统计局局长李盛任自治区人民政府秘书长

广西壮族自治区统计局局长李盛任自治区人民政府秘书长

澎湃新闻
2026-11-18 17:49:02
2026-11-18 20:20:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12965文章数 117195关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

教育
手机
时尚
数码
亲子

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

亲子要闻

宝宝气人但是聪明的4个行为

无障碍浏览 进入关怀版