北京
机器人前瞻（公众号：robot_pro）
作者 钟宸
编辑 漠影
机器人前瞻7月17日报道，今日，Sunday Robotics发布了模型ACT-2，该模型是面向家庭服务机器人场景研发的通用物理操作端到端模型。 Sunday声称，这是首个通过将广泛的泛化能力与高性能相结合，从而实现可靠性的机器人模型。只需少量的训练数据，就能让该模型在各种实际环境中表现出色。 为解决机器人训练的数据难题，Sunday自研了数据采集设备、管理流程和数据处理系统，构建了一套内部数据集。 该模型通过在内部数据集上快速进行训练后迭代，所提升的泛化能力能够有效应用于那些未曾见过、属于真实家庭环境中的场景。实验结果显示，在各种未知家庭环境中，该模型进行零样本衣物折叠任务的成功率高达99.1%。公开资料显示，Sunday成立于2024年，致力于机器人家庭服务场景应用，Memo轮式家用服务机器人是该公司主要产品。 在今年3月完成1.65亿美元的B轮融资后，Sunday估值已经涨到11.5亿美元（折合人民币约74.5亿元），正式步入独角兽行列，且两位联合创始人均为华人背景Tony Zhao（赵子豪）为该公司CEO兼联合创始人，曾师从著名机器人创企Pi公司创始人Sergey Levine和Chelsea Fin，他在机器人精细操控技术方面的研究成果促成了ALOHA项目的诞生。Cheng Chi（迟宬）为CTO兼联合创始人，师从斯隆奖获得者宋舒然。他发明了“扩散策略”（Diffusion Policy）这一重要理论，该理论被广泛应用于工业和学术领域。
▲左为Tony Zhao，右为Cheng Chi（来源：Sunday）
一、可在不同环境泛化，成功率达99.1%
ACT-2模型最大的特点之一是具有涌现能力。
该模型的大规模预训练催生了一些并未被明确指令设定、却在长尾场景下自然涌现的行为，例如极端情况下的恢复能力、抗干扰的鲁棒性，以及全身操控能力。这使得Memo能够将其作业范围扩展至传统桌面机器人工作空间之外。
真实的场景中，物品的状态往往比较混乱：衣物可能会散落在地板上，包装也可能被弄乱。这种情况会导致机器人难以进行分拣工作。
ACT-2则将这些状态视为可解决的问题。该模型可以从地板上捡起衣物，重新调整衣物的摆放方式，还可以在周围状态发生变化后继续折叠衣物，并做出精细的调整。
在Sunday展示的视频中，采用该模型的Memo机器人可在不同场景中进行折衣服的操作：
▲Memo捡起地上的衣服折叠（来源：Sunday） ▲Memo折叠幼儿衣物（来源：Sunday）
▲Memo在明暗变化的环境中仍可折叠衣物（来源：Sunday） ▲Memo可折叠大码衣物（来源：Sunday） ▲Memo在有干扰的情况下继续任务（来源：Sunday） 值得注意的是，除了折衣服外，该模型已经在学习更多种类的家庭技能，包括吸尘、整理玩具、扣拉链、翻转裤子以及煮咖啡等。 这些技能尚未经过与“Solve”标准的对比测试，但每项技能都体现了模型的优势：工具使用能力、整理杂乱空间的能力、精确的操作能力，以及长期稳定的可靠性。 （注：Sunday依据“Solve”这一标准来评估模型，即在既定适用范围内，以明确的适配成本实现可靠的性能表现。在其提供的对ACT-2的评估标准表格中，该模型需要在不同场景和初始配置中，完成折叠不同衣服的任务，且在相同的模型参数和系统配置条件下，实现零成本的部署和适应。） ▲Memo扫地（来源：Sunday） ▲Memo整理玩具（来源：Sunday）
▲Memo拉拉链（来源：Sunday） 在该公司官网，Sunday放出了所有任务评估视频的细节：
二、规模化预训练减少泛化差距，近800次任务成功率达99%
ACT-2是如何实现这些功能的呢？据Sunday称，其核心突破在于针对内部“Memos”（操作记忆片段）进行快速训练迭代，从而提升模型的可靠性，让ACT-2得以泛化应用到未见过的真实家庭环境中。
Sunday称，实现这一突破的关键，在于利用强大的基础模型来弥合泛化差距。 ACT-2接受了高质量、高多样性且包含传感器数据的“人类操作数据集”的预训练，而该数据集通过Sunday自研采集设备、管理流程和处理系统构建而成。
针对特定领域后训练（narrow post-training），可以提高模型在采集新数据环境下的可靠性，但在未见过的场景中带来的提升则微乎其微。
这种现象通常被称为“过拟合”：即模型在内部测试环境下的可靠性增强了，但在真实无约束场景中的可靠性却未见提升。
为了量化这一现象，该公司将“泛化差距”（generalization gap）定义为模型在训练后处理之后，其域内（in-domain，后训练期间所涵盖的环境）表现与域外（out-of-domain，未参与后训练的环境、物体及配置）表现之间的差距。
Sunday发现，扩大预训练规模能够弥合这一差距。随着预训练模型能力的增强，从少量内部数据中习得的收益变得更具可迁移性，而不再局限于数据采集时的特定环境，泛化差距会逐渐减小。
当这种误差缩小时，内部测试的表现变得更加可靠，可以预测模型在实际家庭环境中的表现。
▲在不同预训练数据规模下的泛化差距，横轴为预训练数据规模，纵轴为泛化差距（来源：Sunday）
随着泛化差距的缩小，每一个后训练阶段的样本所发挥的作用也随之增强。
Sunday称，其首次证明了端到端模型能够从单次演示中学习新行为，并将这些行为泛化到未见过的环境中。且迄今为止，该模型所实现的真实家庭操作能力，是当前公开成果中，覆盖场景范围最广、适配成本最低的方案。
这也是Sunday首次证明，利用一种通用且可扩展的方法可以解决“长尾问题”。
同时，Sunday发现，仅仅扩大预训练的规模是不够的，预训练数据的质量和结构也决定了模型改进的效率。在数据量和计算资源相当的情况下，质量更高的数据能够产生更低的验证损失，并带来更高的下游性能提升。
该公司还发现，验证损失与成功率之间存在很强的相关性，据此可在物理评估前，更低成本地优化数据配比。
Sunday还对模型任务的完成效果进行了详细的统计。在涵盖9种主要服装类型的785次自主尝试中，ACT-2项目的整体成功率达到了99.1%（标准误差为±0.3%）。
该公司测试了多种服装、配置、机器人位置和衣物颜色，各类成功率均表现优异。短袖上衣、厚棉质上衣、Polo衫和无袖上衣的成功率达到了100%；而衬衫的成功率最低，为94.7%。
而在折叠质量上，Sunday根据折叠后的物品是否整齐、紧凑、完整且在堆叠时稳定来判断其质量，用五星评分体系来评估完成的任务。
在778次成功的评估中，ACT-2的平均得分达到了4.72/5，98.3%的项目达到了四星或五星的质量标准，其中73.8%的项目获得了满分。
在完成速度上，Sunday从ACT-2检索衣物开始计算时间，直到将衣物放入堆叠区的那一刻。在778次成功的评估中，ACT-2平均用时2分钟13秒，平均实际用时为2分钟19秒。
结语：泛化差距缩小，家用机器人长尾挑战仍在
Sunday Robotics此次发布的ACT-2模型，无疑为家用服务机器人领域提供了新思路。
通过大规模的预训练与专有数据集，该模型在未知家庭环境中的衣物折叠成功率达到了99.1%。更重要的是，它证明了通过扩大预训练规模来弥合“泛化差距”，降低了模型学习和泛化新行为的成本。
然而，从实验室和特定评估场景走向错综复杂的真实日常生活，家庭服务机器人依然面临着巨大的长尾挑战。
家庭环境的多变性、家庭成员及宠物的随机干扰，以及无数未被定义的长尾场景，依然需要机器人具备更强的实时推理与物理交互能力。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
