网易首页 > 网易号 > 正文 申请入驻

DexHoldem:从单个动作到完整交互的机器人评测

0
分享至

机器人能完成一次抓取,能不能接着把整项任务做完?前一步移动了物体,下一步就要重新看清桌面;一次小失误,也可能让后面的操作无法继续。DexHoldem 用真实的牌桌交互,把这些问题放在一起检验。

香港大学与忆生科技参与的 DexHoldem 研究,已获 NeurIPS 2026 Workshop 接收。它以德州扑克牌桌为实验场景,同时考察灵巧手的操作,以及智能体的感知、判断和决策能力,并记录整个系统能否持续完成任务。


论文题目:
DexHoldem: An Agentic Robotics Benchmark for Dexterous Manipulation in Texas Hold’em
论文链接:
https://arxiv.org/abs/2605.18727
项目主页:
https://dexholdem.github.io/Dexholdem/


DexHoldem 论文主图:实验设备、感知与动作执行流程,以及模型评测结果。右下展示部分感知模型的结果。

一、把看清桌面和动手操作放在一起检验

这套评测提供 1,470 条成功操作的示范数据,覆盖 14 项基础动作。数据由人通过遥操作设备控制机器人采集,供模型学习。研究比较了九种动作控制模型,并用 36 道真实场景问题测试 14 种感知模型与运行工具的组合,最后通过 33 局有效测试检验完整系统。

14 项动作包括拿起、扣放和展示左右两张牌,以及四种面额筹码的推入和拉回。每项有 100 条示范用于训练、5 条用于验证。薄牌不容易拿起,密集摆放的筹码又容易互相碰到,机器人既要找对目标,也要控制好手指。

实验使用 UR10e 机械臂和 Shadow 灵巧手。控制动作的模型结合桌面俯视、第三人称和腕部三个视角,以及机器人的关节状态,预测下一步的 30 维关节位置目标。负责理解局面的智能体另用一台桌面相机观察。研究者可以分别更换感知模型和动作模型,比较各自带来的变化。


论文原图展示四类操作的成功与失败:查看手牌、亮牌、推入筹码、拉回筹码。图中只标记动作是否完成,周围场景是否保持良好另行评分。

二、动作做到了还要看有没有碰乱桌面

机器人把目标筹码推到指定区域,却顺带碰走了旁边的筹码,这次操作该怎样评价?DexHoldem 分别记录“目标有没有完成”和“周围场景有没有保持好”。两项各有成功、失败两种结果,合起来就是四种情况。

任务完成率 TCR 回答“有多少次做到了目标”;场景保持成功率 SPSR 则更严格,要求做完目标的同时,没有造成超出规则的物体位移、重叠或越界。按要求移动目标物体当然允许,额外碰乱桌面的动作才会影响后一项评分。


九种动作控制模型的真机结果,依据论文表 1 重绘。每种模型安排 80 项评测,使用同一套评分规则。

π₀.₅ 的任务完成率为 61.2%,加入场景保持要求后,成功率降至 47.5%;π₀ 的场景保持成功率也为 47.5%。RDT 和 DP (DINO) 的这一指标分别为 30.0% 和 26.2%。分开报告两项分数,能让研究者看到:机器人是把动作做完了,还是连周围物体也照顾好了。

这些模型使用相同数量的训练示范和相同的真机评测流程,但模型结构、已有训练经验及接入机器人控制系统的方式并不完全相同。因此,结果反映的是各套被测方案的表现,不能仅凭分数判断某一个设计因素的作用。

研究还用 RDT 比较了不同数据量下的训练效果。每项动作分别使用 10、20、50、100 条示范时,相比策略部分从随机参数开始训练,使用预训练策略的动作预测误差分别降低 1.2%、9.0%、10.7%、11.3%。这里的误差来自验证数据,对应论文中的验证损失;真机操作能否同样改善,还要另做测试。

三、看对单项信息还不等于理解完整局面

感知测试要求模型回答一组具体问题:当前进行到哪一步、轮到谁行动、双方的起始角色标记是什么、桌上有哪些公共牌、当前操作区里有哪些筹码、双方各自还剩哪些筹码,以及亮牌后的结果。双方剩余筹码分别计分,共八项。模型需要把这些信息一起看对,才能为下一步行动提供可靠依据。

评分区分“单项信息感知正确”和“整道题完整答对”。Avg 先算八项能力各自的准确率,再等权取平均;Overall 则统计整道题完整答对的比例。这样既能看到单项识别水平,也能知道模型能否交出一份完整正确的回答。


部分感知模型的结果,依据论文表 2 重绘。每套模型与运行工具的组合都使用同一组 36 道题,重复测试三次。

Opus 5.5 的单项平均准确率为 80.6%,整题正确率为 49.1%;GPT 6 Astra 分别为 80.2% 和 48.1%。单项平均分已经达到约八成,但整道题完整答对的比例仍不到一半。对于下一步行动依赖多条信息的机器人,这个差距值得关注。

不同信息也有不同难度。GPT 6 Astra 对当前操作区内筹码、对方剩余筹码的识别准确率分别为 93.8% 和 100.0%,公共牌却只有 20.5%;Opus 5.5 的公共牌准确率同样为 20.5%。这一项最高的是 GPT 5.5,为 61.5%。总分之外,各项结果能更直接地指出模型还需要改进什么。

GPT、Claude 和 Gemini 分别通过 Codex、Claude Code 和 Gemini CLI 运行,成绩对应模型与这些工具的组合。部分题目提供整理好的历史信息,另有 12 道题没有历史信息。这项测试主要看模型能否读懂当前场景;机器人能否自己记住并更新整个过程,还需要完整系统测试。

四、闭环持续交互才能完整完成长程任务

完整系统不断重复“观察桌面、理解局面、安排下一步、动手执行、再检查结果”。例如查看手牌,需要依次拿起牌、读出并记住牌面,再把牌扣放回桌面。每个步骤结束后都要重新观察,确认任务有没有推进。


系统运行流程的简化示意。图中的“原语”是拾牌、推筹码等基础动作,“路由”负责按规则安排下一步。

等待、检查动作结果和接着完成尚未结束的步骤,由流程控制模块按规则处理;有多个符合规则的动作可选时,再交给主智能体决定。如果动作卡住了,但桌面没有被碰乱,系统可以重试;如果场景已经被破坏,就请求人工帮助。

系统测试由 GPT 5.5 负责感知和主要决策,π₀ 负责控制动作。33 局有效测试中,有 4 局完成全过程,完成率为 12.1%。这四局中,3 局没有请求人工帮助,只有 1 局既没有重试,也没有请求人工帮助。

系统实际发起了 34 次重试,其中 12 次完成了此前未完成的基础动作。最终完成的四局中,有三局曾靠重试恢复进度。保留这些过程记录,才能分清机器人在哪里卡住、怎样继续,以及何时仍需要人的帮助。

DexHoldem 把动作控制、场景理解和行动决策放进同一套真实环境中评测。研究者既能检查各个环节,也能更换其中一个模型,再看整个系统是否更可靠。当前结果来自这一实验平台和被测组合,为后续改进提供了可比较的起点。

-The End-

本周上新!

扫码观看!

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章,并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信(aceyiming)投稿,沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com


点击右上角,把文章分享到朋友圈

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
胖东来新乡门店因涨租金搬离11年,市民称原址所开新商场几乎倒闭,仅剩一楼几家手机店还在营业,商场客服热线已成空号

胖东来新乡门店因涨租金搬离11年,市民称原址所开新商场几乎倒闭,仅剩一楼几家手机店还在营业,商场客服热线已成空号

极目新闻
2026-11-20 15:34:45
武汉95后小伙子承父业收废品,买到一架客机,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

武汉95后小伙子承父业收废品,买到一架客机,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

极目新闻
2026-11-20 15:01:38
缴不起、不愿缴、不合适:"社保扩面"的三重错配

缴不起、不愿缴、不合适:"社保扩面"的三重错配

六子吃凉粉
2026-11-19 13:37:01
突发!台积电收紧对华AI芯片代工

突发!台积电收紧对华AI芯片代工

EETOP半导体社区
2026-11-20 08:17:23
号商下乡收Claude账号:Anthropic算尽了一切,唯独没算到中国号商会上山下乡!

号商下乡收Claude账号:Anthropic算尽了一切,唯独没算到中国号商会上山下乡!

城事堂
2026-11-19 08:49:08
他们说这是股灾,甚至比股灾还严重...

他们说这是股灾,甚至比股灾还严重...

慧翔百科
2026-11-20 08:23:21
全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

可达鸭面面观
2026-11-19 21:51:59
丈夫雇美男勾引妻子,妻子没忍住被强行占有,阴谋暴露妻子报复|法堂

丈夫雇美男勾引妻子,妻子没忍住被强行占有,阴谋暴露妻子报复|法堂

汉史趣闻
2026-11-20 11:06:59
饭店88元红烧“小鸡”竟是候鸟,男女老少齐上阵,村民直言“留着鸟干嘛”;起底候鸟迁徙通道上的血色产业链

饭店88元红烧“小鸡”竟是候鸟,男女老少齐上阵,村民直言“留着鸟干嘛”;起底候鸟迁徙通道上的血色产业链

大风新闻
2026-11-20 10:22:07
游客在三亚海边捡到百斤重金枪鱼,体长近一米九,价值超3000元,当地:不常见,只要不是保护动物,可自行处理

游客在三亚海边捡到百斤重金枪鱼,体长近一米九,价值超3000元,当地:不常见,只要不是保护动物,可自行处理

上观新闻
2026-11-20 06:58:22
特朗普从中国返美途中发文:这是一次伟大且意义深远的访问

特朗普从中国返美途中发文:这是一次伟大且意义深远的访问

极目新闻
2026-11-20 09:35:13
高市深圳参会,日本网友的留言亮了!

高市深圳参会,日本网友的留言亮了!

仕道
2026-11-19 17:13:11
男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

夜话奇谭
2026-11-20 14:15:49
男子花800元购仿真虎皮坐垫在院里晾晒,被路过萌娃误传为“有人杀虎”,当事人:吓了一跳,林业局找上门,派出所也准备出警

男子花800元购仿真虎皮坐垫在院里晾晒,被路过萌娃误传为“有人杀虎”,当事人:吓了一跳,林业局找上门,派出所也准备出警

潇湘晨报
2026-11-20 12:00:15
A股:今天周五,突然下跌,发生了什么?股市还会调整吗?

A股:今天周五,突然下跌,发生了什么?股市还会调整吗?

明心
2026-11-20 13:49:08
不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

扶苏聊历史
2026-11-18 15:55:59
高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

蓝星杂谈
2026-11-20 13:04:01
31岁真人秀女星被疑隆胸,她晒出内衣品牌:是它给的

31岁真人秀女星被疑隆胸,她晒出内衣品牌:是它给的

赴一场山海啊
2026-11-19 12:25:33
同行3人进咖啡店,2人正常消费,1人未点单被劝离!店方:并非公益场所!市监局:与星巴克不同,涉嫌强制最低消费

同行3人进咖啡店,2人正常消费,1人未点单被劝离!店方:并非公益场所!市监局:与星巴克不同,涉嫌强制最低消费

申消费
2026-11-20 11:22:12
巴萨再出梅西式天才?12岁童星52场狂轰145球 耐克1年前就已签下他

巴萨再出梅西式天才?12岁童星52场狂轰145球 耐克1年前就已签下他

风过乡
2026-11-20 08:54:48
2026-11-20 16:04:49
将门创投 incentive-icons
将门创投
加速及投资技术驱动型初创企业
2545文章数 597关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

小伙子承父业收废品买到一架旧飞机 拆解视频意外火了

头条要闻

小伙子承父业收废品买到一架旧飞机 拆解视频意外火了

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

健康
游戏
艺术
亲子
军事航空

医生眼里"很伤腰"的椅子,很多人天天坐

《GTA6》男主被贴吧玩家吐槽太窝囊!剧情纯纯DEI

艺术要闻

KPF操刀,TP-LINK杭州总部露真容,投资约10亿!

亲子要闻

老公从银行辞职七八年了,4岁女儿考验爸爸业务能力,看看咋样

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版