网易首页 > 网易号 > 正文 申请入驻

AI字幕慢半拍,不知道大家笑什么?新方法让同传性能直逼离线翻译

0
分享至

本文第一作者是徐婷,是香港中文大学博士生,主要研究兴趣是大模型的后训练;通讯作者分别是黄志超和程善伯,来自字节跳动Seed团队。

你是否经历过这样的场景:观看一场激动人心的全球发布会,AI 字幕却总是慢半拍,等你看到翻译,台上的梗已经冷掉了。

或者,在跨国视频会议上,机器翻译的质量时好时坏,前言不搭后语,让人啼笑皆非。

这就是同声传译(Simultaneous Machine Translation, SiMT)领域一直以来的核心技术挑战:“质量 - 延迟” 权衡问题(Quality-Latency Trade-off)

现在,这些问题迎来了新的解决方案。来自香港中文大学、字节跳动 Seed 和斯坦福大学的研究团队联手提出了一种面向同声传译的序贯策略优化框架 (Sequential Policy Optimization for Simultaneous Machine Translation, SeqPO-SiMT)

该方法将同传任务巧妙地建模为序贯决策过程,通过优化完整的决策序列,显著提升了翻译质量,同时有效控制了延迟,其性能直逼、甚至在某些方面超越了同等大小的离线翻译模型。

  • 论文标题: SeqPO-SiMT: Sequential Policy Optimization for Simultaneous Machine Translation
  • 论文链接:https://arxiv.org/pdf/2505.20622

研究背景

同声传译的核心在于机器需要动态地决定 “继续听”(READ)还是 “开始说”(WRITE)。这个决策直接影响最终的翻译效果。例如,当模型接收到英文单词 “bark” 时,它面临一个困境:如果立即翻译,可能会译为 “狗叫”,但若后文出现 “of the tree”,则正确翻译应为 “树皮”。

传统的同传方法,它每一步决策(是继续听,还是开始翻译)都是孤立的。它可能会因为眼前的 “小利”(比如翻译出一个词)而牺牲掉全局的 “大利”(整个句子的流畅度和准确性)。

核心方法

针对这一难点,该论文提出了 SeqPO-SiMT 框架。其核心思想是将同声传译任务建模为一个序贯决策问题,综合评估整个翻译流程的翻译质量和延迟,并对整个决策序贯进行端到端的优化。

该方法的主要特点是:它不再孤立地评估每一步决策的好坏,而是将一整句话的翻译过程(即一个完整的决策序贯)视为一个整体,更符合人类对同传的评估过程。

其中,λ 是一个超参数,用于权衡质量与延迟的重要性。

实验结果与分析

为了验证方法的有效性,研究者们在多个公开的英汉互译测试集上进行了实验,并与多种现有的同传模型进行了对比。实验结果显示:在低延迟水平下,SeqPO-SiMT 框架生成的译文质量相较于基线模型有明显提升。

本文将 SeqPO-SiMT 的实时同传结果与多个高性能模型的离线翻译结果进行对比。结果显示,SeqPO-SiMT 的翻译质量不仅优于监督微调(SFT)的离线模型及 LLaMA-3-8B,其表现甚至能媲美乃至超越 Qwen-2.5-7B 的离线翻译水平。这表明该方法在 70 亿参数(7B)规模上实现了业界顶尖(SoTA)的性能。

总结与讨论

总的来说,SeqPO-SiMT 这项工作的主要贡献在于,为解决同声传译中的质量 - 延迟权衡问题提供了一个新的视角。它强调了对决策 “序贯” 进行整体优化的重要性。该研究提出的方法,对于需要进行实时、连续决策的自然语言处理任务具有一定的参考意义,并为未来开发更高效、更智能的同声传译系统提供了有价值的探索。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
两岸突发一件事,大陆已下达禁令,话音刚落,郑丽文火速派人赴京

两岸突发一件事,大陆已下达禁令,话音刚落,郑丽文火速派人赴京

聊历史的阿稼
2026-05-14 06:06:56
凯特王妃意大利复出封神!梅根还在拍真人秀争宠

凯特王妃意大利复出封神!梅根还在拍真人秀争宠

全球奇趣娱乐八卦
2026-05-14 10:02:02
黄一鸣摊上事了,闺蜜曝孩子生父猛料,难怪王思聪不认孩子太离谱

黄一鸣摊上事了,闺蜜曝孩子生父猛料,难怪王思聪不认孩子太离谱

青梅侃史啊
2026-05-12 07:16:18
曝黑海舰队成铁笼!俄乌战争以来首次安装无人机“防护网”

曝黑海舰队成铁笼!俄乌战争以来首次安装无人机“防护网”

项鹏飞
2026-05-12 18:14:38
比稀土更稀缺的锎元素,一克一点五亿,中国为何必须自主突破呢?

比稀土更稀缺的锎元素,一克一点五亿,中国为何必须自主突破呢?

李摻穷游天下
2026-05-12 18:58:20
内马尔告诫亚马尔:别重走我的路!离开巴萨,是我生涯最大遗憾

内马尔告诫亚马尔:别重走我的路!离开巴萨,是我生涯最大遗憾

体育闲话说
2026-05-14 11:13:09
台湾经济高增长背后,普通民众的生活负担日益加剧

台湾经济高增长背后,普通民众的生活负担日益加剧

流苏晚晴
2026-05-12 19:23:30
20架C17抵京,特朗普搬家式外交,本想炫耀实力,结果被运20打脸

20架C17抵京,特朗普搬家式外交,本想炫耀实力,结果被运20打脸

青烟小先生
2026-05-12 09:30:12
事态升级了!四川凌晨追打案后续:6人全带走,女子袭警细节被扒

事态升级了!四川凌晨追打案后续:6人全带走,女子袭警细节被扒

小鋭有话说
2026-05-13 15:41:41
追觅俞浩试驾电动车产品疑似“翻车”,车辆多次无法启动

追觅俞浩试驾电动车产品疑似“翻车”,车辆多次无法启动

金融界
2026-05-13 18:13:10
张柏芝母亲节晒仨儿子,8岁三胎儿子出镜,眼睛小小自带沉稳气场

张柏芝母亲节晒仨儿子,8岁三胎儿子出镜,眼睛小小自带沉稳气场

阿废冷眼观察所
2026-05-11 16:02:13
比披丝巾更可怕的是“瑜伽裤外穿”,廉价又卡裆,三角区更尴尬

比披丝巾更可怕的是“瑜伽裤外穿”,廉价又卡裆,三角区更尴尬

世界圈
2026-05-14 11:13:39
特朗普抵京第一天:红毯、机队和那桌“不敢公开”的国宴

特朗普抵京第一天:红毯、机队和那桌“不敢公开”的国宴

浪子的烟火人间
2026-05-14 08:39:45
太失礼?到韩国见完中方就走,都不跟主人打招呼,首尔炸了

太失礼?到韩国见完中方就走,都不跟主人打招呼,首尔炸了

魔都姐姐杂谈
2026-05-13 22:44:16
28亿美元!被字节逼到无路可走的喜马拉雅终于卖给了腾讯

28亿美元!被字节逼到无路可走的喜马拉雅终于卖给了腾讯

传心财经
2026-05-13 17:38:12
特朗普到了!他的随行巨头有看头

特朗普到了!他的随行巨头有看头

标体
2026-05-14 00:57:01
广州毒保姆何天带:一年杀8位老人,扬言:老人活多久我说了算

广州毒保姆何天带:一年杀8位老人,扬言:老人活多久我说了算

莫地方
2026-05-14 01:05:05
两个国家部委领导班子调整

两个国家部委领导班子调整

上观新闻
2026-05-13 12:38:09
一夜情后勒索NBA雄鹿老板12.15亿美元,罗某在登机回国时被捕

一夜情后勒索NBA雄鹿老板12.15亿美元,罗某在登机回国时被捕

听心堂
2026-05-12 13:19:43
午评:创业板指半日跌近2% 化工板块逆势上扬

午评:创业板指半日跌近2% 化工板块逆势上扬

财联社
2026-05-14 11:33:07
2026-05-14 12:12:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
12988文章数 142648关注度
往期回顾 全部

科技要闻

马斯克:只有我和黄仁勋坐上了"空军一号"

头条要闻

媒体:特朗普开始访华 中方有一句话是说给全世界听的

头条要闻

媒体:特朗普开始访华 中方有一句话是说给全世界听的

体育要闻

哈登30+8+6创8纪录 第8次赢天王山

娱乐要闻

肖战提名金海燕奖,这一步走得太稳

财经要闻

片仔癀依旧困在“片仔癀”

汽车要闻

C级纯电轿跑 吉利银河"TT"申报图来了

态度原创

手机
房产
时尚
教育
军事航空

手机要闻

2026年轻薄折叠手机推荐:兼顾轻薄实用与移动办公 首选OPPOFindN6

房产要闻

海南楼市新政要出!拟调公积金贷款额度,最高可贷168万!

T恤+低腰阔腿裤、衬衫+低腰半裙,今年夏天最时髦的搭配,谁穿谁好看!

教育要闻

想让躺平的孩子少花钱,只需做到一件事!

军事要闻

美以伊战争期间以总理密访阿联酋

无障碍浏览 进入关怀版