“当你的脚本因为一个按钮挪了3像素就全线崩溃,这种自动化到底省了多少时间?”一位长期关注企业效率工具的开发者抛出这个问题后,整个讨论组沉默了。在传统机器人流程自动化(RPA)工具统治企业后台运作的这些年里,这条脆弱的生命线始终悬在界面元素的选择器上。
科大讯飞旗下的天燕团队最近放出了一个开源项目:Astron-RPA。它被定义为“Agent化RPA”,不是给旧脚本打补丁,而是把大语言模型与真实世界的界面操作打通。这件事背后反映出一条行业认知的分野:自动化到底该沿着预设规则狂奔,还是该让机器先理解屏幕上的东西是什么,再决定怎么点。
![]()
在正方看来,语义理解这条路是必然方向。传统RPA本质上是一套“按键精灵”式的精确脚本,它要求界面结构保持高度稳定。一旦某个按钮的位置、样式或者层级发生变化,整个流程就要重新录制、调试和部署。科大讯飞给出的解决方案是让AI直接“看”界面,理解“提交”这个按钮的功能含义,而不是死记它的坐标或者HTML标签。这意味着自动化流程开始拥有适应能力——布局变了,机器还能找到正确的目标。
反方则没那么乐观。多位从事企业级自动化部署的架构师提醒,语义理解在实际场景中面临的是极端复杂的界面形态。企业内部系统往往混合着十年以上的老架构、自绘控件和非标准组件,连人类员工都要培训几周才能摸清操作逻辑。机器视觉加语义理解能否扛住这种混乱程度的考验,还是个巨大问号。更何况,“能理解”和“不出错”之间还隔着一条责任鸿沟——如果是脚本崩溃,开发人员知道是选择器问题;如果是AI判断失误,排错链条会变得难以追踪。
我自己的判断是,这场辩论的焦点其实偏了。Astron-RPA真正的突破不在于它宣称的“理解”能力有多强,而在于它把RPA从孤立的执行器变成了AI智能体工具链里的一环。项目代码仓库显示,这套套件与天燕体系内的AstronClaw云端AI和Loomy桌面AI直接打通。这三件套的协作逻辑很清晰:AstronClaw负责复杂推理和数据处理,Loomy处理本地任务和桌面应用交互,Astron-RPA专门跨网页和桌面界面完成真实操作。这是一个把“思考”和“动手”分拆到不同模块的架构设计。
这种设计直接导向了几个实际可落地的场景。没有应用程序编程接口的老旧系统是很多大企业的顽疾,这些系统的数据库结构不明、接口文档缺失,任何数据迁移都只能靠人工搬运。Astron-RPA可以直接模拟人类操作来完成信息提取和录入。另一个典型痛点是跨系统的数据同步,企业资源计划系统、客户关系管理系统和财务软件之间的数据往往需要专人手动搬移,这套工具可以把这类重复劳动自动化。信息技术支持流程同样受益,从自动处理工单、收集故障信息到执行初步排查步骤,整个流水线都能串起来。
如果把视线拉长,这套生态的意图比单个产品本身更大。根据项目文档中公开的架构信息,Astron-RPA在技术路线上选择了直接与AI智能体协同工作,执行那些需要推理和决策的多步骤复杂任务。这意味着开发者在构建自动化机器人时,不必再把所有决策逻辑硬编码进脚本,而是可以让云端的大模型来处理“这个订单该不该自动审批”这类判断,再由RPA层去执行具体的按钮点击和数据填写动作。判断层和执行层的解耦,才是这套架构区别于传统RPA的根本所在。
从行业格局来看,这类“理解加操作”的自动化方案并非独家探索。海外厂商也在尝试将多模态大模型与界面操作结合,但开源程度各有不同。Astron-RPA采用开源策略,代码托管在GitHub上,配套教程同时覆盖了云端和桌面端的部署流程。这种开放性对于研发周期紧张、希望快速验证自动化效果的中型团队而言,吸引力不容忽视。
当然,把所有期望都压在“语义理解”这面大旗下并不明智。任何做过企业软件部署的人都知道,真实环境里的界面从来不会像演示视频里那么干净。弹窗、广告层、加载延迟、非标准字体——这些噪声对任何基于视觉理解的系统都是严峻挑战。科大讯飞这套方案能不能在嘈杂的真实场景中保持稳定性,目前在公开的技术文档里还找不到足够详尽的基准测试数据。这是观望者最需要紧盯的后续信息披露。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.