用本地开源权重模型翻译并压缩对话,然后逐项测量输出在哪里失败——这套做法给出的结果不是一条完美的配音,而是一组让失败变得可见的检查。
作者搭建的 Localisation measurements 是一个 Python 工具包,包含四个命令行检查项:估算对话能否塞进时间窗口;字幕时序、重叠与阅读速度;延迟与累积漂移预算;术语一致性与数字。核心工具只依赖 Python 标准库。另有一个独立示例,用 Opus-MT 做英译法,并通过本地 Ollama 调用 Gemma 3 4B 生成更短的变体。完整的视频配音与实时口译属于后续集成工作,该仓库并不提供 dub 或 interpret 命令。
演示部分描述的是已保存的模型输出,其中的时间比值可以从仓库重新计算,并不是一次新的模型推理运行。
在记录的实验中,12 条虚构对话台词由 Opus-MT 翻译。启发式统计数出 102 个英语音节和 98 个法语音节。这个样本量不足以确立两种语言之间的一般膨胀率。
逐行检查更有用:四条译文直接适配,两条需要拉伸,两条过短,四条在配置的时序模型下过长。
这里有一个重要限定:这些窗口是按英语音节数算出来的,并非取自录音音频;口语时长同样是估算值。适配比值是有用的复核信号,不是音频同步的证明。
针对四条过长的台词,Gemma 给出了更短的变体。三个保存下来的候选落在配置窗口 0.80 到 1.06 之内。一个例子是第 011 行:修改前为 “Et les autres, on ne peut pas les abandonner.”,修改后为 “Et les autres, on ne les abandonne pas.”,适配后估算比值为 0.968x。
第 001 行仍低于下界,为 0.793x,它被判定为拒绝,而不是成功。这些是不同的对话行:第 001 行那次 2.38x 的失败,不会变成第 011 行的 0.97x 结果。
时序本身无法验证语义。第 008 行在通过时序检查的同时,把过去时改成了现在时。所有候选都需要人工复核。
复现方式包括运行 python -B verifier.py,以及执行 python localisation/ajuster_doublage.py exemples/segments-opusmt.json。验证器通过 78 个用例,检查退出码与手工计算的结果。示例输入可以故意产生一个质量检查失败的退出码——那意味着某项测量发现了问题。
重新生成适配结果需要安装 Ollama 与 gemma3:4b,然后运行 python exemples/adapter_avec_gemma.py。新的生成结果可能与保存的实验不同。仓库把模型依赖与标准库检查分开记录。
本地推理的价值在于:用户可以在合成之前查看中间文本、测量它、并拒绝它。这四项测量也可以脱离任何模型独立运行。模型权重及其各自的许可证与代码分开,代码以 AGPL-3.0-or-later 分发。
该工具包与保存的实验创建于 2026 年 10 月 25 日,相对于已宣布的 10 月 26 日第 4 周开启属于先前工作。提交前,资格要求与任何必需的挑战标签都须对照最终发布的规则核查。
该项目不演示实测语音延迟、成品音频、声音克隆控制、音轨分离或端到端配音,也不声称提供任何 agent 会话分享链接。奖项类别与奖励均不作假设。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.