机器人学会"三思而后行"：中科院团队让AI机器人告别行动失误

这项由中国电信人工智能研究院的杨思远、张洋等研究人员联合清华大学、中科大、香港科技大学的研究团队共同完成的研究，于2024年12月2日发布在arXiv预印本平台上，论文编号为arXiv:2512.02834v1。有兴趣深入了解的读者可以通过这个编号查询完整论文。

当我们看到一个熟练的厨师在厨房里工作时，会发现他们总是能够精准地完成每一个动作——切菜时刀起刀落干脆利落，调味时分量恰到好处，端盘时稳如泰山。然而，现在的机器人却常常像是一个刚学做饭的新手，虽然已经学会了基本技能，但在实际操作时总是会出现各种意外状况。有时候它们会突然"手抖"，有时候又会选择完全错误的动作，就像一个人明明知道怎么做菜，但每次下厨都可能把菜做糊。

这个问题的根源在于，现在的机器人就像是一个装满了各种烹饪知识的大脑，但缺乏一个"品尝机制"来判断自己即将做出的动作是否正确。它们在训练时接收了大量的示范数据，就像看了无数个烹饪视频，但其中既有大厨的精湛技艺，也有新手的笨拙操作，还有各种风格迥异的做法。当机器人真正开始行动时，它们往往会随机地从这个庞大的"食谱库"中选择一种做法，而无法判断哪种做法最适合当前的情况。

中国电信人工智能研究院的研究团队注意到了这个关键问题，他们发现即使是同一个训练有素的机器人，在面对相同任务时，仅仅因为内部"抛硬币"（随机性）的结果不同，成功率就可能从80%骤降到0%。这就像是一个会做菜的人，今天可能做出美味佳肴，明天却可能把厨房烧了，完全取决于运气。

研究团队提出了一个名为"TACO"的创新解决方案，这个名字代表"Test-time Anti-exploration via pseudo-COunts"，翻译过来就是"通过伪计数在测试时进行反探索"。听起来很技术化，但其核心思想其实就像给机器人安装了一个"味觉系统"，让它能够在行动前"品尝"一下自己即将做出的动作，选择最"美味"（最可靠）的那一个。

这个方法的巧妙之处在于，它不需要重新训练机器人，而是在机器人行动的那一刻给它装上了一个"智能顾问"。当机器人面临选择时，这个顾问会迅速生成多个可能的行动方案，然后像经验丰富的老师傅一样，通过"看一眼、闻一闻、想一想"，判断哪个方案最像训练数据中那些成功的案例，然后建议机器人选择那个最靠谱的方案。

这种方法的效果相当显著。在真实的机器人实验中，装备了TACO系统的机器人的成功率平均提高了16%。在复杂的模拟环境中，改进效果更加明显，某些任务的成功率提升甚至超过了20%。更重要的是，这个系统的运行效率很高，就像一个经验丰富的助手，虽然需要多考虑几秒钟，但能够显著提高工作质量。

**一、机器人行为的"多重人格"问题**

要理解这项研究的重要性，我们需要先了解现代机器人面临的一个根本性挑战。现在的智能机器人就像是一个拥有多重技能的演员，它们通过观看大量的示范视频学会了各种动作。但问题是，这些示范视频来源复杂多样——有专业操作员的标准动作，有普通人的随意操作，还有各种不同风格和水平的示范。

当机器人学习这些数据时，它们就像海绵一样全部吸收，无法区分哪些是值得模仿的"黄金标准"，哪些是应该避免的"负面教材"。更糟糕的是，即使是同样优秀的示范，也可能存在多种不同的执行方式。比如抓取一个杯子，可以从顶部抓，也可以从侧面抓，两种方法都正确，但在特定情况下可能只有一种是最佳选择。

研究团队通过实验发现了一个令人震惊的现象：同一个训练良好的机器人，在执行完全相同的任务时，仅仅因为内部随机种子的不同，成功率就会出现巨大差异。这就像一个经验丰富的厨师，今天做菜可能得到五星好评，明天却可能被投诉难以下咽，而唯一的区别就是他今天心情好坏。

这种现象在学术界被称为"推理时不稳定性"，但用更通俗的话来说，就是机器人患了"选择困难症"。它们拥有解决问题的所有技能和知识，但缺乏一个可靠的"决策系统"来在关键时刻做出最佳选择。

传统的解决方案通常是重新训练机器人，让它们学会更好的判断。但这种方法有两个致命缺陷：首先，重新训练需要大量时间和计算资源，就像重新培养一个厨师需要数年时间；其次，在训练过程中很难完全消除那些"有毒"的示范数据，因为它们往往与正确的示范数据混杂在一起，很难分离。

**二、"反探索"策略：从失败中学习智慧**

研究团队从离线强化学习领域借鉴了一个称为"反探索"的策略思想。要理解这个概念，可以把它想象成一个经验丰富的登山向导的工作方式。当面临多条路径选择时，一个新手向导可能会鼓励探索未知路径，认为这样可能发现更好的线路。但经验丰富的向导知道，在危险的山区，最明智的选择往往是坚持走那些已经被验证安全可靠的路径，而不是冒险尝试未知路线。

"反探索"的核心思想就是让机器人像经验丰富的向导一样行事：当面临行动选择时，不是随机尝试或探索新的可能性，而是优先选择那些在历史数据中被多次证明成功的行动模式。这种策略特别适合那些对安全性和可靠性要求很高的应用场景，比如工业机器人操作或医疗辅助设备。

但是，如何判断一个行动是否"安全可靠"呢？这就需要一个评估机制。研究团队设计了一个被称为"伪计数估计器"的系统，它的工作原理类似于一个经验丰富的质量检查员。这个检查员会查看机器人准备执行的每一个动作，然后快速回忆："在我见过的所有成功案例中，类似这样的动作出现了多少次？"出现次数越多的动作，就越可能是可靠的选择。

这个伪计数估计器使用了一种被称为"投币网络"（Coin Flipping Network）的技术。虽然名字听起来像是在赌博，但实际上这是一种非常聪明的数学方法。它的工作原理就像一个图书管理员，为每种类型的书籍都准备了一个特殊的"指纹"。当需要查找某本书时，管理员只需要检查这个"指纹"，就能快速判断这本书在图书馆中的常见程度。

**三、"智能选择器"：机器人的决策顾问**

TACO系统的核心是一个"智能选择器"，它的工作方式就像一个经验丰富的品酒师。当机器人面临行动选择时，这个选择器会要求机器人先"酿造"多种不同的"行动方案"，然后像品酒师品尝不同的酒款一样，仔细评估每个方案的"品质"。

具体来说，当机器人需要执行一个动作时，TACO系统会让机器人同时生成多个可能的行动方案。这就像一个厨师在决定今天的菜单时，会先在心中构思几种不同的搭配方案。然后，智能选择器会使用内置的"经验数据库"来评估每个方案，判断哪一个最接近那些历史上成功的操作模式。

这个过程的巧妙之处在于，它充分利用了机器人已有的"内部表示"能力。现代的视觉-语言-动作机器人在处理信息时，会在内部形成一种复杂的"理解表示"，就像人类在理解一个场景时会在大脑中形成一个综合的认知图像。TACO系统直接利用这些内部表示，而不需要额外训练新的理解系统，这大大提高了效率。

为了确保这些内部表示的质量，研究团队开发了一种称为"高保真特征搜索"的技术。这个技术的工作原理就像一个摄影师在拍摄重要照片时会拍摄多张照片，然后从中选择最清晰、最准确的那一张。对于每个训练样本，系统会生成多个带有不同"噪声"水平的版本，然后选择最接近原始正确答案的那个版本的内部表示进行学习。

**四、效率优化：让智慧选择变得快速实用**

虽然生成多个行动方案然后进行选择听起来很合理，但如果实施不当，这个过程可能会变得极其缓慢，就像一个过分谨慎的司机在每个路口都要停下来思考十分钟一样，虽然安全但完全不实用。

研究团队通过一个称为"键值缓存优化"的技术巧妙地解决了这个效率问题。这个技术的工作原理就像一个高效的餐厅厨房。在繁忙的餐厅里，厨师们不会为每道菜都从头开始准备所有配料，而是会预先准备一些通用的基础食材和调料。当需要制作不同菜品时，厨师只需要在这些共同的基础上添加特定的元素即可。

具体到TACO系统，当机器人需要评估多个行动方案时，系统会先处理所有方案共同的部分（比如对当前环境的理解），然后将这个共同部分的计算结果保存起来，供所有方案共享使用。这样，系统只需要为每个方案计算其特有的部分，大大减少了重复计算。

实验结果显示，这种优化方法可以将计算时间减少73.2%，使得原本可能需要几分钟才能完成的决策过程缩短到几秒钟。这种效率提升对于实际应用来说至关重要，因为在真实世界中，机器人往往需要在很短的时间内做出反应。

**五、实验验证：从模拟到现实的全面测试**

为了验证TACO系统的有效性，研究团队进行了一系列全面的实验，涵盖了从计算机模拟环境到真实机器人平台的各种场景。这些实验就像是对一个新药进行从实验室到临床的全面测试，确保其在各种条件下都能稳定有效地工作。

在模拟环境中，研究团队使用了四个不同的基准测试平台，包括RoboTwin1.0、RoboTwin2.0、LIBERO和SimplerEnv。这些平台涵盖了各种不同类型的机器人任务，从简单的物体抓取到复杂的双臂协调操作，从单一任务到长序列任务组合。

实验结果非常令人鼓舞。在RoboTwin1.0基准测试中，装备了TACO系统的机器人平均成功率提高了9.1%。在一些特别困难的任务中，改进效果更加显著。比如在"容器放置"任务中，成功率从25%提高到40%，提升幅度达到15个百分点。在"双瓶抓取简单"任务中，成功率从60%提高到70%。

更有趣的是，研究团队还将TACO系统应用到了不同类型的基础机器人模型上，验证了其通用性。无论是基于流匹配技术的π0模型，还是基于自回归技术的OpenVLA模型，装备TACO系统后都显示出了显著的性能提升。这说明TACO系统就像一个通用的"智能插件"，可以为各种不同架构的机器人提供决策辅助。

在真实世界的实验中，研究团队使用了一个配备双臂的RealMan75机器人进行测试。这个机器人需要执行五种不同的日常任务：接收书本、存储充电器、处理纸和笔、操作笔记本电脑，以及抓取书籍。这些任务都是日常生活中常见的操作，但对机器人来说却充满挑战，因为它们需要精确的手眼协调和对环境的准确理解。

真实世界实验的结果更加令人印象深刻。平均成功率提升了16%，在一些复杂任务中提升幅度甚至达到25%。特别值得注意的是，TACO系统不仅提高了成功率，还显著改善了机器人动作的稳定性和流畅性。在没有TACO系统的情况下，机器人经常会出现犹豫、重复动作或选择明显错误的抓取方式，而装备了TACO系统后，这些问题基本消失了。

**六、深入机制分析：为什么TACO系统如此有效**

为了更好地理解TACO系统的工作机制，研究团队进行了一系列深入的分析实验。这些分析就像对一台精密仪器进行拆解检查，目的是理解每个组件是如何贡献到整体性能的。

首先，研究团队验证了伪计数估计器的有效性。他们发现，由CFN（投币网络）计算出的"行动可靠性分数"与实际的"动作质量"之间存在强烈的相关性。具体来说，那些被CFN评为高分的行动方案，往往确实更接近训练数据中的成功示范，而低分的方案则往往对应着那些容易导致失败的行动模式。

更有趣的是，研究团队发现TACO系统能够有效识别并避免那些"看起来正确但实际危险"的行动。这些行动在表面上看起来合理，但实际执行时往往会导致失败。这就像一个经验丰富的司机能够识别出某些看似安全实际危险的驾驶行为，比如在湿滑路面上过快转弯。

研究团队还分析了不同组件的重要性。他们发现，如果移除CFN伪计数估计器，系统性能会显著下降；如果不使用内部表示而是训练独立的特征提取器，性能同样会大幅降低；如果不进行高保真特征搜索，系统的判断准确性会受到影响。这些分析证明了TACO系统中每个组件都是必要的，它们共同构成了一个高效的决策系统。

**七、技术创新的广泛影响**

TACO系统的意义远远超出了单纯的技术改进，它代表了机器人智能发展的一个重要方向。传统的机器人训练方法就像是"填鸭式教育"，通过大量重复训练让机器人记住各种操作模式，但缺乏灵活的判断能力。而TACO系统则更像是培养"批判性思维"，让机器人学会在行动前进行理性评估。

这种方法的一个重要优势是它的"即插即用"特性。与需要重新训练整个系统的传统改进方法不同，TACO系统可以很容易地集成到现有的机器人系统中，就像给汽车安装一个新的导航系统一样简单。这意味着那些已经投入大量资源训练的机器人系统可以在不重新开始的情况下获得显著的性能提升。

此外，TACO系统的设计理念也为未来的机器人发展提供了新的思路。它表明，有时候提升机器人性能的关键不在于让它们学习更多的技能，而在于让它们学会更好地使用已有的技能。这就像提升一个人的能力，有时候重点不是学习新知识，而是学会如何更好地整合和应用已有知识。

从更广阔的角度来看，TACO系统的成功也反映了人工智能发展的一个重要趋势：从"大而全"向"精而准"转变。早期的AI系统往往追求覆盖尽可能多的场景和任务，但现在越来越多的研究开始关注如何让AI系统在特定场景下做出更可靠、更精准的决策。

**八、面向未来的技术展望**

虽然TACO系统已经显示出了显著的效果，但研究团队也诚实地指出了目前技术的一些局限性。比如，系统目前只能从已有的行动模式中进行选择，而无法创造全新的行动方案。这就像一个经验丰富的厨师虽然能够选择最佳的烹饪方法，但可能无法发明全新的菜谱。

另一个限制是系统的性能在很大程度上依赖于底层机器人模型的表示能力。如果基础模型本身存在缺陷，TACO系统虽然能够改善性能，但改善程度会受到限制。这就像一个再好的指挥家也无法让一个基础薄弱的乐团演奏出完美的音乐。

尽管存在这些局限性，TACO系统为未来的研究开辟了几个有趣的方向。首先，研究团队提出可以将类似的"测试时优化"方法应用到其他类型的AI系统中，比如语言模型或图像生成模型。其次，可以进一步改进伪计数估计器的设计，让它能够更准确地评估行动质量。最后，可以探索如何将TACO系统与在线学习方法结合，让机器人能够在实际使用过程中持续改进自己的决策能力。

从产业应用的角度来看，TACO系统的成功也预示着智能机器人即将迎来一个新的发展阶段。随着这类技术的成熟，我们可能会看到更多可靠、稳定的机器人助手出现在我们的日常生活中，从家庭服务到工业生产，从医疗护理到教育培训。

归根结底，TACO系统的核心贡献在于它提供了一种让机器人"三思而后行"的方法。在一个越来越需要可靠自动化系统的世界里，这种能够在关键时刻做出明智决策的技术将变得越来越重要。就像我们在开头提到的那个厨师比喻一样，TACO系统帮助机器人从一个笨拙的新手成长为一个经验丰富的专家，不仅知道如何完成任务，更知道如何在每一个关键时刻做出最佳选择。

Q&A

Q1：TACO系统是什么？

A：TACO是中国电信人工智能研究院等机构开发的机器人决策优化系统，全称是"Test-time Anti-exploration via pseudo-COunts"。它的核心功能是在机器人执行任务时，让机器人同时生成多个可能的行动方案，然后通过智能评估选择最可靠的那一个，就像给机器人配备了一个经验丰富的决策顾问。

Q2：为什么机器人需要TACO这样的系统？

A：现在的机器人虽然学会了很多技能，但在实际执行任务时经常出现不稳定的表现，同样的任务有时成功有时失败。这是因为它们在训练时接收了各种质量不同的示范数据，缺乏判断能力来选择最佳行动。TACO系统解决的就是这个"选择困难症"问题，让机器人能够在关键时刻做出最明智的选择。

Q3：TACO系统的效果如何？

A：实验结果非常显著，在真实机器人实验中，装备TACO系统的机器人平均成功率提升了16%，某些复杂任务的成功率提升甚至达到25%。在模拟环境中，不同任务的成功率提升从4.7%到9.1%不等。更重要的是，这个系统可以即插即用，不需要重新训练机器人，计算效率也很高。