网易首页 > 网易号 > 正文 申请入驻

一个C++工具塞进10种语音模型,CPU就能跑

0
分享至

不用GPU,浏览器里就能把录音转成文字、把文字读出来,还能克隆自己的声音。开源工具speech.cpp把日语特化型语音识别模型Haas-ja-v1.0、语音合成模型Irodori-TTS等打包进同一个运行环境,Windows、macOS、Linux都能装。


它的安装方式很直接:在PowerShell里跑一条安装脚本,重开终端后执行speech serve --open --device cpu --host localhost,浏览器打开本地地址,顶部就是「Speak」「Transcribe」「Live」三个标签页,分别对应语音合成、音频文件转写和实时转写。


先让文字开口说话


在「Speak」标签页点模型选择按钮,会列出可用的语音合成模型。选中支持日语等10种语言的Qwen3-TTS 0.6B下载,加载完成后在文本框输入内容,Voice里挑一个日语说话人,点「Speak」就能生成音频,可在线播放,也能下载成WAV文件。

生成完还能顺手验证效果:点音频波形下方的「Transcribe this」,页面跳到「Transcribe」标签页,刚才那段音频已经自动设为转写对象。选好日语特化型识别模型Haas-ja-v1.0,点「Transcribe」,转写文本和处理耗时一起显示出来。测试中「speech.cpp」这个词被认错了,其余日语内容大体正确。

除了拖拽音频文件,也可以点「Record」现场录一段再转写,录进去的内容能被正确读出来。

边说边出字,靠两个模型配合

想不等录完就出文字,切到「Live」标签页。先下载日语识别模型ReazonSpeech v2,再在「Find speech with」里选一个检测人声区间的模型,这里用的是Silero VAD。点「Start」对着麦克风说话,发话中的句子以灰色显示,说完一句结果才确定。

测试里出现「肌寒く。じます。」这样的断句,原因是「肌寒く」和「感じます」之间停顿稍长,被当成了句子分隔。

用自己的声音读任意文章

把合成模型换成日语特化的Irodori-TTS,就能玩声音克隆。在「Speak」标签页下载irodori-tts-mf,打开「Make a voice from a recording」,点「Record」录下自己的声音,给这个声音起个名字后点「Add the voice」。之后在文本框输入一段录音时没说过的话,Voice里选中刚注册的声音,点「Speak」,生成的音频就带上了自己声音的特征。

模型清单:合成、识别、还有杂活

按用途和语言,speech.cpp可以切换多个模型。语音合成方面:Qwen3-TTS支持含日语在内的10种语言;Irodori-TTS为日语特化并支持声音克隆;Drama 3支持83种语言,最多可生成16个人的对话。

语音识别方面:Qwen3-ASR覆盖30种语言;ReazonSpeech v2面向日语长音频;Parakeet JA主打日语高速转写;Parakeet v3覆盖欧洲25种语言;Haas-ja-v1.0为日语特化,还支持指定自定义词汇;Nemotron 3.5 Transcribe支持40种语言,单次最长可处理1小时音频。

其他语音处理模型包括:Silero VAD负责检测发话区间;Nemotron 3 Diarization最多分离8个说话人;RE-USE去除噪声和混响;RE-USE Laughter则在去噪时保留笑声。

CPU能跑,是因为换了套底层

speech.cpp采用AI模型运算库ggml,在Windows和Linux上可通过Vulkan、在搭载Apple Silicon的Mac上可通过Metal调用GPU,纯CPU也能运行。需要留意的是,Windows官方发行版即便用CPU处理,也要装Vulkan加载器。

语音识别和合成能本地跑起来,意味着采访录音、内部会议记录不必发到外部服务,大批文档也能在不额外付API费用的情况下转成语音。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
不得了!日本做了一个极其恶劣的决定!

不得了!日本做了一个极其恶劣的决定!

故事终将光明磊落
2026-11-20 14:44:07
它是“菜中人参”,冬天遇到别手软,买10斤囤着,随吃随取特省事

它是“菜中人参”,冬天遇到别手软,买10斤囤着,随吃随取特省事

阿龙美食记
2026-11-19 11:00:12
APCE上的温情一幕,让人好感动!

APCE上的温情一幕,让人好感动!

低调看天下
2026-11-20 15:46:04
创业板指跌逾3% 下跌个股近5200只

创业板指跌逾3% 下跌个股近5200只

财联社
2026-11-20 10:25:04
歌手张宇去世,年仅48岁

歌手张宇去世,年仅48岁

东方不败然多多
2026-11-20 16:36:51
尾盘,A股突变,爆天量了!

尾盘,A股突变,爆天量了!

中国基金报
2026-11-20 15:53:51
显著提高农民养老金,是一种历史契约,农民也有社保视同缴费资格,理由除公粮外,还有一个更硬核的没人说 | 何兰生

显著提高农民养老金,是一种历史契约,农民也有社保视同缴费资格,理由除公粮外,还有一个更硬核的没人说 | 何兰生

农见度
2026-11-20 21:48:04
突发!黄仁勋再曝新消息,该来的还是来了!

突发!黄仁勋再曝新消息,该来的还是来了!

财经要参
2026-11-20 16:00:05
老人学会网购后 一口气下单15吨薯条喂猪:5毛一斤 比玉米饲料还划算 一拌上饲料猪就“抢着吃”

老人学会网购后 一口气下单15吨薯条喂猪:5毛一斤 比玉米饲料还划算 一拌上饲料猪就“抢着吃”

闪电新闻
2026-11-20 10:50:52
贾国龙又推新招牌,这次能撑多久?丨大象财富

贾国龙又推新招牌,这次能撑多久?丨大象财富

大象新闻
2026-11-20 18:35:02
深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

江山挥笔
2026-11-19 14:15:33
山东省原副省长闫剑波,辞去山东省委委员职务;今年9月已跨省任厦门代市长;曾任禹城市委书记、济宁市委副书记、威海市委书记等职

山东省原副省长闫剑波,辞去山东省委委员职务;今年9月已跨省任厦门代市长;曾任禹城市委书记、济宁市委副书记、威海市委书记等职

极目新闻
2026-11-20 18:40:29
高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

可达鸭面面观
2026-11-20 08:41:45
首款鸿蒙 AI 手机发布:华为全新子品牌 OSTA 星芒有一个「增援未来计划」

首款鸿蒙 AI 手机发布:华为全新子品牌 OSTA 星芒有一个「增援未来计划」

爱范儿
2026-11-20 17:27:02
男子花800元购仿真虎皮坐垫在院里晾晒,被路过萌娃误传为“有人杀虎”,当事人:吓了一跳,林业局找上门,派出所也准备出警

男子花800元购仿真虎皮坐垫在院里晾晒,被路过萌娃误传为“有人杀虎”,当事人:吓了一跳,林业局找上门,派出所也准备出警

潇湘晨报
2026-11-20 12:00:15
A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

金石随笔
2026-11-20 12:39:37
男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

夜话奇谭
2026-11-20 14:15:49
突发!63 岁黄仁勋正在考虑创立新公司,网友:一定要自己控股呀!

突发!63 岁黄仁勋正在考虑创立新公司,网友:一定要自己控股呀!

起点财经
2026-11-20 13:46:06
多家头部公募发声:A股有望迎估值修复窗口

多家头部公募发声:A股有望迎估值修复窗口

第一财经资讯
2026-11-20 17:05:04
武汉95后小伙子承父业收废品,买到一架客机,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

武汉95后小伙子承父业收废品,买到一架客机,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

极目新闻
2026-11-20 15:01:38
2026-11-20 22:15:00
固件更新中
固件更新中
有态度网友ytd
273文章数 89关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
艺术
数码
手机
公开课

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版