阿里通义实验室发布UI-S1：让AI掌握手机操作的新突破

来源：市场资讯

（来源：科技行者）

这项由阿里巴巴通义实验室与浙江大学联合进行的研究于2025年1月发表在计算机学习领域的顶级预印本平台arXiv上（论文编号：arXiv:2509.11543v1）。对于想要深入了解技术细节的读者，可以通过https://github.com/X-PLUG/MobileAgent/tree/main/UI-S1访问完整的代码和论文资源。

你有没有想过，如果AI能像人一样熟练操作手机会是什么样子？比如你对它说"帮我订个明天的外卖"，它就能自动打开APP、选择餐厅、下单付款，整个过程不需要你动手。这听起来像科幻电影里的情节，但阿里巴巴的研究团队已经让这个梦想更进了一步。

他们开发的UI-S1系统就像是给AI配备了一双"数字化的手"，让它能够真正理解和操作我们日常使用的手机界面。这不仅仅是一个技术突破，更是朝着真正智能助手迈出的重要一步。当AI能够处理那些繁琐的手机操作时，我们就能把更多时间用在真正重要的事情上。

要理解这项研究的意义，我们先得明白AI操作手机面临的核心挑战。就像教一个从未见过智能手机的人使用手机一样，AI需要学会两件事：看懂屏幕上的内容，以及知道该做什么操作。更困难的是，AI还要能处理连续的多步操作——比如先打开地图APP，然后搜索餐厅，再查看评价，最后选择一家下单。这种连贯的操作链条对AI来说是个巨大挑战。

传统的AI训练方法在这里遇到了一个两难困境。一种方法是让AI在预先准备好的操作示例中学习，这样比较安全稳定，但AI学会的只是模仿单个动作，面对需要连续操作的复杂任务时就会"掉链子"。另一种方法是让AI直接在真实环境中学习，通过试错来掌握技能，这样能学会处理复杂情况，但成本极高，而且容易出错。

阿里的研究团队提出了一个巧妙的解决方案，他们称之为"半在线强化学习"。这就像是为AI创造了一个"虚拟练习场"——既不是完全的模拟环境，也不是真实的手机操作，而是一个介于两者之间的训练空间。

在这个虚拟练习场里，AI可以看到真实的手机操作记录，但它需要自己做决策。当AI做出正确的操作时，系统会延续这个操作序列；当AI犯错时，系统不会简单地结束训练，而是会"纠正"这个错误，然后让AI继续学习后续的操作步骤。这就像一个耐心的老师，当学生写错字时不是撕掉整张纸，而是帮学生擦掉错字，让他继续写下去。

这种训练方式的巧妙之处在于，AI能够体验到完整的操作流程，学会如何处理连续的任务步骤。同时，由于有了"纠错机制"，AI不会因为一个错误就失去学习整个任务的机会。研究团队将这个纠错机制称为"补丁模块"，它能够智能地判断何时需要介入，何时让AI自主学习。

在具体的技术实现上，研究团队设计了一套精巧的奖励系统来指导AI的学习。这套系统不只看重AI当前操作的准确性，还会考虑这个操作对后续任务完成的影响。就像下棋一样，一步好棋不仅要看当前的得失，还要考虑对全局的影响。AI通过这种方式逐渐学会了"全局思维"，能够为了最终目标而进行合理的操作规划。

更重要的是，研究团队还开发了一种新的评估方法，叫做"半在线性能指标"。传统的评估方法往往只能测试AI在理想条件下的表现，就像只在考试中测试学生，而不看他们在实际生活中的应用能力。这个新指标能更准确地预测AI在真实环境中的表现，为AI的实际应用提供了更可靠的参考。

为了验证这套方法的有效性，研究团队在多个不同的测试平台上对UI-S1进行了全面测试。结果令人印象深刻：在AndroidWorld这个复杂的手机操作测试环境中，UI-S1相比基础模型提升了12个百分点；在AITW测试中更是提升了23.8个百分点。这些数字背后代表的是AI在处理复杂手机操作任务时能力的显著提升。

研究团队还进行了一个有趣的案例测试：让AI完成一个跨应用的复杂任务——在Markor应用中创建一个文件，文件内容来自Simple Gallery应用中查看的收据图片。这个任务需要AI记住从图片中看到的信息，切换到另一个应用，然后准确输入相关内容。结果显示，UI-S1成功完成了这个包含12个步骤的复杂任务，准确记录了"2023-03-23, Monitor Stand, $33.22"这样的详细信息。

这项研究的意义远超技术本身。当AI能够熟练操作各种应用程序时，它就能成为我们真正的数字助手。老年人不再需要为复杂的手机操作而烦恼，忙碌的上班族可以把重复性的手机任务交给AI处理，视力障碍者也能通过AI的帮助更好地使用智能设备。

从技术发展的角度来看，这项研究解决了AI训练中的一个关键问题：如何在保证训练效率的同时，让AI掌握复杂的连续操作能力。这种"半在线学习"的思路不仅适用于手机操作，还可能被应用到其他需要连续决策的AI任务中，比如自动驾驶、机器人控制等领域。

研究团队在论文中详细分析了不同训练策略的效果。他们发现，传统的监督学习方法虽然能让AI掌握单个操作，但在面对需要多步推理的任务时表现不佳。而纯粹的在线学习虽然能处理复杂任务，但训练成本过高且容易出错。他们的半在线方法很好地平衡了这两个极端，既保证了训练效率，又提升了AI的实际应用能力。

值得注意的是，研究团队还开发了多种不同的"纠错策略"。有的策略只是简单地替换错误操作，有的会生成详细的思考过程来帮助AI理解正确的操作逻辑。通过对比实验，他们发现简单的纠错策略在保持效率的同时就能取得很好的效果，这为实际应用提供了重要参考。

在模型规模方面，UI-S1基于70亿参数的Qwen2.5VL模型构建，这个规模在目前的开源模型中算是中等偏上的水平。研究结果显示，即使是这个相对较小的模型，通过恰当的训练方法也能达到甚至超越一些更大模型的性能。这说明训练方法的创新有时比单纯增加模型规模更加有效。

研究团队还进行了详细的消融实验，就像拆解一台机器来理解每个部件的作用一样。他们发现，未来奖励的引入对提升AI的长期规划能力至关重要，而双层优势函数的设计则帮助AI更好地平衡了短期准确性和长期目标。这些技术细节为后续的研究提供了宝贵的经验。

从实际应用的角度来看，UI-S1的成功意味着我们距离真正智能的数字助手又近了一步。目前的语音助手虽然能回答问题，但在执行复杂的手机操作任务上还有很大限制。而UI-S1展示的能力让我们看到了一个更加智能的未来：AI不仅能理解我们的需求，还能代替我们执行各种繁琐的操作任务。

当然，这项技术要真正普及还需要解决一些挑战。首先是安全性问题——当AI能够代替我们操作手机时，如何确保它不会执行恶意操作或泄露个人信息？其次是个性化问题——不同用户的操作习惯和偏好不同，AI如何适应这些差异？最后是可控性问题——用户如何确保AI的操作符合自己的真实意图？

研究团队在论文中也诚实地讨论了当前方法的局限性。比如，目前的训练主要基于安卓系统的应用，在其他操作系统上的表现还需要进一步验证。另外，对于一些需要创造性思维或情感判断的任务，现有的方法可能还无法很好地处理。

尽管存在这些挑战，但UI-S1的突破性进展为整个领域指明了一个有前景的研究方向。它证明了通过巧妙的训练方法设计，我们可以让AI掌握原本被认为非常困难的复杂操作技能。这不仅推进了人工智能技术的发展，也为我们描绘了一个更加便捷的数字生活图景。

说到底，这项研究的价值不仅在于技术突破本身，更在于它为我们打开了一扇通往智能化未来的大门。当AI能够真正理解和执行我们的数字化需求时，技术就不再是障碍，而是生活的有力助手。虽然这个未来可能还需要一些时间才能完全实现，但UI-S1的成功让我们看到了这种可能性的曙光。对于那些希望深入了解这项研究技术细节的读者，完整的论文和代码资源都可以通过阿里巴巴开源的GitHub项目获得。

Q&A

Q1：UI-S1是什么？它与普通的AI助手有什么区别？

A：UI-S1是阿里通义实验室开发的AI手机操作系统，它能像人一样看懂手机屏幕并执行复杂的多步操作任务。与普通AI助手只能回答问题不同，UI-S1能直接操作手机APP，比如帮你订外卖、查地图、发信息等，就像有个真人在帮你操作手机一样。

Q2：半在线强化学习是什么？为什么比传统方法更好？

A：半在线强化学习是UI-S1采用的新训练方法，它结合了离线学习的安全性和在线学习的灵活性。就像在虚拟练习场里训练，AI能看到真实操作记录但需要自己做决策，犯错时系统会纠正并让它继续学习。这样既保证了训练效率，又让AI学会了处理复杂的连续操作任务。

Q3：UI-S1的实际表现如何？普通人什么时候能用上？

A：在测试中，UI-S1在AndroidWorld平台上相比基础模型提升了12%，在AITW测试中提升了23.8%，能成功完成跨应用的复杂任务。不过目前还是研究阶段，普通用户要真正使用还需要解决安全性、个性化等问题，预计还需要一段时间才能商业化应用。