去年一个晚上,他在电脑上看一段英文科技视频,画面下方挂着中文字幕。看着看着,一个念头冒出来:要是能直接听中文版就好了,不用一直盯着字幕,通勤路上能听,睡前也能听。
![]()
后来,他真的把这个东西做了出来。但从冒出想法,到做成一个所有人都能用的产品,花的时间远超预期。
想法出现后,他先试了几款视频翻译工具。中文翻译是有了,可一听就觉得哪里不对——视频里的人还在,声音却不是他的了。每句话里原本的情绪,也跟着一起消失了。
他打了个比方:一个你熟悉的面孔,突然用另一种语调、另一个声音说话。意思你能跟上,但那种连接断了。就像看着一个熟人,耳边却是陌生人在替他开口。
他想要的其实很简单:翻成中文,但保留原来的声音,保留情绪,保留每个词被说出口时的细微差别。同一句话,轻声说和用力说,砸到人身上的感觉完全不同。
他四处寻找,找到了一种模型方案。当时可选项不多,但这个方案在声音保留上的质量让他看到了希望。
有模型是一回事,拿到成片是另一回事。推理慢得让人难受,也没法把整段视频丢进去,就等着输出一段音画同步、背景音乐还在、翻译还准确的成品。所有环节都得自己串起来。
他把一些样例分享出去后,不少人问能不能做成一个人人可用的工具。他自己也这么想。说实话,有 AI 辅助写代码,他以为会很快——核心翻译流程已经跑通了,剩下的不就是搭个上传视频的网站吗?
结果,这件事花了一年。
能演示的东西和能让人稳定使用的东西,是两码事。自己用,只需要把视频处理好;给别人用,就要注册、登录、数据持久化,一个用户的数据不能泄露给另一个用户,多个并发上传不能把系统搞崩。
系统挂了怎么办?用户变多了要不要扩容?用户会不会本能地知道怎么操作?数据库、服务器、对象存储、域名、DNS,一样一样都得弄对。每一块单独看都没问题,可怎么把它们接起来,让人顺畅地用上你的服务,总还有下一件事,再下一件事。
AI 能帮忙。但做得对不对、出了问题怎么办,仍然得自己扛。
那为什么还继续?因为承诺过。他向想要这个工具的人承诺过,也向自己承诺过。这个念头撑着他走了下来。
现在,这个工具终于能交付了。它叫 SoulDub,名字里的“Soul”对应的是配音要留住的那点神韵。它支持 30 多种语言和部分方言。
用法有两种:
- 网页方式:打开 souldub.ai,上传视频,选语言,点开始,就这些。
- Agent 方式:在浏览器里搜索 github-souldub-skills,通过常用的 Agent(ChatGPT、Claude、Gemini 等)安装这个技能。之后 Agent 就能翻译本地视频,翻译好的视频和字幕会自动下载到原视频所在的文件夹。
两种方式处理的视频,都会出现在 SoulDub 账号里。
还有一环很关键:人工校对和编辑。字幕不够准,或者配音需要调整,可以直接在网站上改。AI 先做第一遍,人再打磨自己在意的部分,质量就能一直往上走。
他也把话放在这儿:任何反馈、问题、想法,他都愿意听。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.