网易首页 > 网易号 > 正文 申请入驻

285字符语音18秒生成,三款TTS本地跑要付出什么代价

0
分享至

一段285个字符的俄语段落,合成出来约18秒语音。在RTX 3070上预热之后,Silero、XTTS-v2、F5-TTS三款引擎跑同一段文本,速度差距是数量级的:Silero比实时快数百倍,克隆类引擎则要慢上几倍。这些数字来自单机单次运行,不是标准跑分,但量级足够说明问题。


有人把这三款引擎塞进了一个Windows桌面程序Glasvo:tkinter窗口,MIT许可,支持Windows 10/11。程序最初为俄语而做,英语同样可用——118个英语Silero音色,英语的XTTS与F5克隆也能跑。真正值得看的不是界面,而是磁盘、内存和时间上的实际开销,以及开发过程中踩到的坑。

Silero:快,但会悄悄吞字符

Silero模型是torch.package归档。PyTorch打不开含西里尔字符的路径,而用户的文件夹名什么都有可能,所以代码改成传文件对象进去,再加载模型、搬到CUDA或CPU上,调用apply_tts出wav。语速和音高走SSML,单块文本控制在700字符以内,长文按句子边界切开,再用停顿拼接。

最难受的意外是:Silero的俄语模型会静默跳过数字、丢掉拉丁字母。输出里出现的是空白,不是报错。为此模型前面挂了两个函数——expand_numbers基于num2words把2026这样的数字转成词,latin_to_cyrillic分三级处理拉丁文本:常见词查词典(YouTube变成«ютуб»),全大写和无元音的词按字母逐个读(USB变成«ю-эс-би»),其余走转写。验证方式是合成测试短语,再用Whisper识别回来比对。

克隆:采样、切块与自检

参考音频先经ffmpeg转成单声道24 kHz wav,ffmpeg取自imageio-ffmpeg,不需要系统预装。文件写入临时路径后用os.replace移动,坏文件不会污染上一份样本。XTTS-v2对俄语单块的上限约182字符,所以切块按170来;F5需要参考文本,由Whisper small在本地转写样本,转完即卸载以释放显存。

作者的自检方法很直接:拿一个Silero音色当“样本”,让XTTS和F5用它朗读一段文本,再用Whisper转写结果、比对词句,两者都是100%匹配。

依赖地狱与安装

克隆相关依赖(coqui-tts、f5-tts、transformers)拉进来的东西多到让依赖解析器卡死。被钉死的版本包括:torch==2.5.1+cu121(transformers 5和diffusers 0.43需要torch 2.6+)、transformers<5、huggingface_hub<1.0,以及F5经hydra需要的omegaconf==2.3.1。pip check会对f5-tts的版本钉法报怨,这属于可接受范围;requirements.txt就是可用环境的完整pip freeze。

给没有Python环境的人准备的install.bat会调用install.ps1:下载uv,把Python 3.12装进程序目录,建venv,再执行uv pip install --no-deps -r requirements.txt。没有NVIDIA显卡时,把torch的+cu121换成+CPU版本。uv缓存放在较短的临时路径下,因为antlr4在深层目录里构建失败过。模型不打包进zip,首次使用时通过huggingface_hub.snapshot_download下载。

程序还能自更新:启动时读取GitHub的releases/latest,下载Glasvo.zip,覆盖旧文件,但保留settings.json。

几个小坑

  • 在pythonw下sys.stdout是None,tqdm和print会崩,塞一个devnull顶上。
  • 后台线程不能碰tkinter,所有交互走队列,由主线程定时排空。
  • 鼠标滚轮划过ttk.Combobox会改值,需要拦截。
  • 俄语键盘布局下的Ctrl+C/V/X/A,按keycode匹配。

许可提醒

代码是MIT,但多数模型是非商用:Silero和俄语F5-TTS为CC BY-NC 4.0,XTTS-v2使用Coqui Public Model License。把音频用进带变现的视频前先核对许可,克隆只用自己的声音,或已获对方同意的声音。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中方:已向相关国家政府表达严重关切,希望相关国家及时纠正错误做法

中方:已向相关国家政府表达严重关切,希望相关国家及时纠正错误做法

政知新媒体
2026-11-12 19:43:11
法医当庭曝猛料!蔡天凤盆骨下 7 处钝器伤,生前到底熬了多少折磨

法医当庭曝猛料!蔡天凤盆骨下 7 处钝器伤,生前到底熬了多少折磨

老娱记啊
2026-11-13 15:46:15
石原里美老公晋升合伙人!年薪或超1.5亿日元,奖金更是惊人,网友:这才是真正的人生赢家!

石原里美老公晋升合伙人!年薪或超1.5亿日元,奖金更是惊人,网友:这才是真正的人生赢家!

日本通
2026-11-13 22:09:10
蒙面人持刀闯豪宅偷走3辆车,锤哥夫妇报警

蒙面人持刀闯豪宅偷走3辆车,锤哥夫妇报警

娱圈观察员
2026-11-13 04:59:29
深夜黄金遭血洗!国际金价大跌3%?特朗普掀桌子,拒绝和伊朗谈判

深夜黄金遭血洗!国际金价大跌3%?特朗普掀桌子,拒绝和伊朗谈判

白浅娱乐聊
2026-11-13 13:09:14
两性关系:发现了没,寿命长的男人,大多都有这五个好习惯

两性关系:发现了没,寿命长的男人,大多都有这五个好习惯

荔子言
2026-11-03 10:32:30
太危险!上海警方将联系本市所有买家!这种网购产品千万别用!10人被采取刑事强制措施!

太危险!上海警方将联系本市所有买家!这种网购产品千万别用!10人被采取刑事强制措施!

环球网资讯
2026-11-13 13:22:17
印度奥委会主席语出惊人!责怪中国无法对印度申奥感同身受,不支持他们申奥

印度奥委会主席语出惊人!责怪中国无法对印度申奥感同身受,不支持他们申奥

小徐讲八卦
2026-11-13 10:50:00
医生:心脏比较强壮的人,通常会有6个“共同点”,希望你全有!

医生:心脏比较强壮的人,通常会有6个“共同点”,希望你全有!

小方说跑步
2026-11-13 14:30:32
北科大一26级博士生退学,导师多次劝说无果,本人回应:这辈子都不再搞科研

北科大一26级博士生退学,导师多次劝说无果,本人回应:这辈子都不再搞科研

育学笔谈
2026-11-13 13:50:55
盘后,利好来了!两部门,重磅发布!

盘后,利好来了!两部门,重磅发布!

证券时报
2026-11-13 18:27:34
比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

趣文说娱
2026-11-12 04:55:18
昔日知己反目!罗大佑公开怒斥旧友:为一口饭变绿?乐坛两代人爆发激烈论战

昔日知己反目!罗大佑公开怒斥旧友:为一口饭变绿?乐坛两代人爆发激烈论战

毒舌说历史1
2026-11-11 13:59:20
过气演员有多惨?卖房离开北京,回脏乱差山东老家,睡仓库很知足

过气演员有多惨?卖房离开北京,回脏乱差山东老家,睡仓库很知足

古事寻踪记
2026-11-05 12:19:29
1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-11 13:38:14
博士生毕业超10万、高校教职却仅需3.5万左右!当博士进高校,越来越难了,博士们又该何去何从?

博士生毕业超10万、高校教职却仅需3.5万左右!当博士进高校,越来越难了,博士们又该何去何从?

学术眺望
2026-11-13 11:00:03
曝!黄仁勋「当众羞辱」临时 CEO!

曝!黄仁勋「当众羞辱」临时 CEO!

云头条
2026-11-13 12:13:10
汪洋曝郭德纲认干爹内幕:都是提前策划好的,把网友当傻子耍

汪洋曝郭德纲认干爹内幕:都是提前策划好的,把网友当傻子耍

江山挥笔
2026-11-13 15:05:59
女演员千万别整容,看张颂文《谷雨》左小青就知道,张艺谋没说错

女演员千万别整容,看张颂文《谷雨》左小青就知道,张艺谋没说错

陈述影视
2026-11-13 17:34:17
广东正大批量上市,有商店一上架就卖光!接下来还会越来越多,网友:开吃

广东正大批量上市,有商店一上架就卖光!接下来还会越来越多,网友:开吃

环球网资讯
2026-11-13 07:57:14
2026-11-14 06:51:00
闪存猎手
闪存猎手
全网蹲好价的野生捕手,算力与羊毛都不可辜负。
254文章数 85关注度
往期回顾 全部

科技要闻

黄仁勋辞职,马斯克们抱不平!

头条要闻

牛弹琴:黄仁勋黯然辞职 至少释放三重信号

头条要闻

牛弹琴:黄仁勋黯然辞职 至少释放三重信号

体育要闻

28年前的“点球罪人”,把冠军带回大连

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

72岁王健林重回“一号位”

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

家居
游戏
教育
手机
艺术

家居要闻

2026建博会(广州) 公装联探展交流活动

《光环:战役进化》移植Dreamcast !双模式可运行

教育要闻

中俄教育年独家专访|远东联邦大学副校长详解赴俄留学新趋势

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

艺术要闻

17位 国外画家笔下的女子

无障碍浏览 进入关怀版