网易首页 > 网易号 > 正文 申请入驻

英伟达、UT-Austin发布Realtime-Bench,实时互动任务难倒GPT-6

0
分享至



大模型能看懂复杂的网页结构,也能理解各种游戏的通关规则。

但如果让它们在稍纵即逝的窗口期内抢购一张热门门票,或者在俄罗斯方块游戏中,赶在方块落地前完成旋转和移动,它们还能应对自如吗?

为了测试模型的实时能力,英伟达和 UT-Austin 等机构的研究人员提出了 Realtime-Bench,用它测试了 12 种前沿模型。当环境实时推进时,表现最好的模型 (GPT-6-Astra) 也只有 44% 的任务成功率。



  • 论文标题:Realtime-Bench: Can Frontier Models Solve Real-Time Interactive Problems?
  • 论文链接:https://arxiv.org/abs/2610.22155
  • 项目主页:https://realtimeagents.org
  • Huggingface paper: https://huggingface.co/papers/2610.22155

实时交互中,世界不会等待模型

抢票时,模型要盯住不断变化的界面,在有限的时间内做出决策并完成操作。这类实时交互任务要求模型具备三种核心能力:

  • 1. RT-Perceive:观察环境变化。判断当前状态、信息是否过时,以及行动机会是否仍然存在。
  • 2. RT-Deliberate:根据时间调整推理。决定还能思考多久,以及继续思考是否值得。
  • 3. RT-Act:把握行动时机。判断应该等待还是立即操作,并选择执行时仍然有效的行动。

模型要先发现放票,再根据购买窗口还剩多久来控制思考时间,及时下单。任何一个环节出问题,都可能错过机会。

围绕些核心能力,Realtime-Bench 把模型放进持续变化的环境中,考察它能否根据时间约束完成观察、推理和行动。

让行动的早晚影响结果

Realtime-Bench 的任务都具有两个特点:环境会随着时间自行变化,而完成目标的机会存在时间限制。

即使操作正确,执行得太早或太晚,也可能导致任务失败。

如下图所示,在实时拍卖中,模型要在倒计时结束前出价,还要应对对手随时加价;在贪吃蛇中,蛇会持续前进,模型必须及时转弯,才能吃到苹果。





图 1:Realtime-Bench 的典型任务示例

Realtime-Bench 的 30 个网页任务和 20 个游戏任务都包含这类时机要求,覆盖出行、电商、服务、安全,以及街机、解谜、策略和模拟等八类场景。



图 2:Realtime-Bench 的任务分布

模型推理时,环境的时间怎么算

Realtime-Bench 对比了模型在以下 3 种环境推进方式的表现:

  • Wall Clock,即按推理花的真实时间推进,模型花多久生成响应,环境就向前推进多久。
  • Paused Clock,即模型推理完环境才推进,推理过程中环境状态冻结。这种推进方式作为理想化的对照,便于区分模型的失败是由于推理能力的不足还是受到时间限制的影响。
  • Token Clock,即按模型生成的 token 数推进时间,生成的 token 越多,行动就越晚执行。这种推进方式去除了 API 服务延迟的影响,便于观测模型本身的实时能力。



图 3:Realtime-Bench 在三种时钟协议下评估模型实时交互能力。 Wall Clock 按实际推理耗时推进环境;Paused Clock 在推理期间暂停环境;Token Clock 按生成的 token 数推进模拟时间,排除实际服务速度的影响,评估模型的时间感知能力。

实验结果:真实时间下,模型仍难以完成实时任务

Realtime-Bench 测试了 12 个前沿模型,涵盖三类:标准异步模型,包括 GPT-6 Astra、GPT-5.6 Sol、Claude Fable 5.1、Claude Opus 5、Gemini 3.8 Flash、DeepSeek V4.1 Flash 和 Kimi-K3;实时流式模型,即专门为实时交互优化延迟的一系列大语言模型,包括 GPT-Realtime-2、Gemini 3.1 Flash live 和 Gemini 3.8 Live;以及决策模型,即只输出决策而不输出自由文本的低延迟模型,包括 OpenAI Decisions 和 Jev 1.13。

由于实时交互需要稳定性,一次失败之后就无法重来(比如抢票失败后无法重新尝试),Reatime-Bench 使用 Pass^3 作为主要指标。Pass^3 即模型在同一任务的三次重复测试中均成功的概率,衡量了模型在实时任务上的可靠性。

当环境按照实际推理延迟推进(Wall Clock)时,表现最好的 GPT-6 Astra 在高推理强度下的 Pass^3 也仅为 36%。大多数模型的延迟超过 1 秒,虽然 Jev 实现了小于 1 秒的延迟,但 Pass^3 仅为 8%。

这些结果表明,低延迟本身不足以保证可靠的实时表现。模型既要及时响应,也要具备解决任务所需的推理能力。



图 4:12 个前沿模型在 Realtime-Bench 上的表现

提高推理强度,未必能提高实时任务的成功率



图 5:三种时钟协议下的任务成功率。

在 Paused Clock (推理不消耗环境时间)下,提高推理强度让六个模型的成功率均有提升。例如,GPT-5.6 Sol 从 42% 升至 58%,Claude Opus 5 从 62% 升至 70%。

当环境在思考期间继续变化,提高推理强度的效果就因模型而异。在 Token Clock 下,提高推理强度让 Claude Opus 5 的成功率从 44% 降至 30%,却让 Kimi-K3 从 24% 升至 36%。Wall Clock 下也存在类似差异:GPT-5.6 Sol 从 16% 降至 8%,Gemini 3.1 Flash Live 则从 6% 升至 8%。

这说明,实时任务中的推理需要权衡:继续思考可能帮助模型选出更好的操作,但也可能让它错过执行操作的时机。

缩短推理带来的行动延迟,有帮助但还不够

同样长度的推理,如果耗时更短,成功率会提高吗?我们在 Token Clock 下将每秒模拟时间对应的生成 token 数从 32 逐步提高到 64、128,最后完全移除生成过程的时间开销。这样,生成相同数量的 token,行动前的模拟延迟会逐步缩短。

总体来看,放宽时间限制有助于提高成功率。从每秒对应 32 个 token 到完全移除推理时间开销,Claude Opus 5 的成功率从 30% 升至 62%,Kimi-K3 从 22% 升至 60%。

并非所有模型的成功率都会随延迟缩短而持续上升。即使推理不再消耗环境时间,仍有不少任务无法完成。 降低延迟有帮助,但还不足以解决实时交互中的全部困难。



图 6:时间压力对任务成功率的影响

Realtime-Bench 里的任务要求模型识别正在变化的状态,根据剩余时间决定思考多久,并判断何时等待、何时行动。未来的模型需要更灵活地协调这些环节:时间充足时比较方案,窗口即将关闭时尽快行动,新信息到来后及时修正过时的计划。

作者简介:

Realtime-Bench 是由顶尖高校与科技企业共同打造合作项目。该基准测试由得克萨斯大学奥斯汀分校(UT Austin)、西北大学(Northwestern)、俄亥俄州立大学(OSU)、伊利诺伊大学厄巴纳-香槟分校(UIUC)联合英伟达(NVIDIA)与 Steadyworks 共同研发。核心研究团队包括:来自 UT Austin 的博士生 Jingyu Tang、硕士生 Xu Yang 及助理教授 Jiaxin Pei;西北大学的 Manling Li;OSU 的 Zhehao Zhang;UIUC 的 Zheng Wang 与 Haozhe Zhao;以及来自工业界的 NVIDIA 研究员 Qi Cheng 和 Steadyworks 的 Wenxuan Li 与 Xide Xia。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
克里米亚大桥被炸塌,对俄罗斯意味着什么?

克里米亚大桥被炸塌,对俄罗斯意味着什么?

山河路口
2026-11-18 18:00:20
怎么有人敢造国常会的谣?

怎么有人敢造国常会的谣?

凤眼论
2026-11-18 16:22:38
全军覆没!上海玄鸟领衔NBL球队征战CBA杯首日三战全败

全军覆没!上海玄鸟领衔NBL球队征战CBA杯首日三战全败

狼叔评论
2026-11-18 18:44:06
比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

疯狂的小历史
2026-11-18 11:13:34
崩溃!退役吧,被主教练点名,真打不了NBA……

崩溃!退役吧,被主教练点名,真打不了NBA……

体育新角度
2026-11-18 14:49:51
内娱姐妹花:决裂10年,拒绝复合

内娱姐妹花:决裂10年,拒绝复合

最人物
2026-11-18 15:45:33
中方贵宾席座无虚席,菲律宾急坏了!

中方贵宾席座无虚席,菲律宾急坏了!

叶老四
2026-11-18 08:14:37
蒙古国政府再次公开拒绝了中方提出的跨境铁路运力扩容方案

蒙古国政府再次公开拒绝了中方提出的跨境铁路运力扩容方案

果妈聊娱乐
2026-08-23 08:38:03
马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

恒星文娱
2026-11-17 23:01:29
台北101点灯,力挺黄仁勋

台北101点灯,力挺黄仁勋

芯智讯
2026-11-17 12:23:23
榜眼摆上货架一天就下架了?没人要,交易杜兰特里外里亏了两次!

榜眼摆上货架一天就下架了?没人要,交易杜兰特里外里亏了两次!

你的篮球频道
2026-11-18 10:31:49
克里米亚大桥被炸断了!!!

克里米亚大桥被炸断了!!!

西楼饮月
2026-11-17 16:41:46
美国卡住C919发动机后,世界才发现,中国造出了一台更好的

美国卡住C919发动机后,世界才发现,中国造出了一台更好的

混沌录
2026-11-17 19:43:30
CCTV5直播国安VS海港!张玉宁太累了!杨希对位林皇,安佩姆冲击王刚

CCTV5直播国安VS海港!张玉宁太累了!杨希对位林皇,安佩姆冲击王刚

刀锋体育
2026-11-18 19:38:54
这两天,网友们在围观一个叫玉芬的记者

这两天,网友们在围观一个叫玉芬的记者

清晖有墨
2026-11-17 12:40:13
江西24岁男子中缅边境失联2个月,姐姐:之前待业在家,曾打来一次电话,被问在哪国时沉默,旁边有人讲话

江西24岁男子中缅边境失联2个月,姐姐:之前待业在家,曾打来一次电话,被问在哪国时沉默,旁边有人讲话

大风新闻
2026-11-18 20:42:04
28中17!首发就爆种!湖人最新神级重磅签约

28中17!首发就爆种!湖人最新神级重磅签约

篮球实战宝典
2026-11-18 21:36:28
为什么格莱姆斯状态这么猛?必须要感谢三个人

为什么格莱姆斯状态这么猛?必须要感谢三个人

球毛鬼胎
2026-11-18 18:45:13
薄一波的夫人胡明,她有多美?1960年的留影,眉目清秀,灵气温婉

薄一波的夫人胡明,她有多美?1960年的留影,眉目清秀,灵气温婉

乡野小珥
2026-11-17 14:39:45
11岁舞蹈女孩午餐精确到100克,身高1米55标准体重是60斤

11岁舞蹈女孩午餐精确到100克,身高1米55标准体重是60斤

东方豪侠
2026-11-18 12:45:42
2026-11-18 22:12:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
旅游
艺术
时尚
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版