给数字员工装上“眼睛”，来自杭州的它凭啥登顶全球第一？

9月9日，全球公认最难考的AI“屏幕元素定位”测试榜ScreenSpot-Pro更新了成绩。一家杭州企业的AI模型以82.7%的任务成功率登顶全球第一，第二名也是它家的。

这个榜单考的不是AI能写多好的诗、聊多久的天，而是——AI能不能像人一样看懂一个页面，在屏幕上准确找到该点的按钮、该填的输入框。

一年前，这个榜单刚发布时，全球最强的模型成功率还不到20%。短短一年，分数翻了四倍。AI是怎么做到这一点的？它真的能取代我们在电脑前做的那些工作吗？

带着这些问题，我们采访了实在智能的几位技术负责人。

ScreenSpot-Pro考的核心能力是GUI定位。那什么是GUI定位？

实在智能合伙人、核心算法部负责人欧阳小刚用了一个普通人秒懂的例子：你让一个AI智能体帮你在美团点一份肯德基香辣鸡腿堡套餐。对AI来说，第一个难题不是“怎么点”，而是“点哪里”。

AI看到的手机屏幕，和我们看到的完全不一样。

我们看到的是搜索框、汉堡图片、立即购买按钮。但在AI眼里，这些都不是有意义的画面——它看到的只是一堆像素点，一堆数字。

“它必须在这些像素点里面，找到代表搜索框的那个区域，找到代表‘立即购买’按钮的那个位置。这个‘找到具体操作对象在哪里’的过程，就叫GUI定位。”欧阳小刚说。

GUI，全称Graphical User Interface，图形用户界面。GUI定位，就是让AI学会看懂屏幕、找到操作位置的第一步。

只有先定位到了按钮和搜索框，AI才能一步步去点击、输入、完成任务。

很多人会觉得，现在AI都能写文章、画图画、跟人聊天了，怎么看个屏幕找按钮反而成了难题？

因为聊天可以“大概对就行”，但点按钮必须“精确到像素”。点偏了，整个任务就断了。“AI需要理解的不只是‘这里有个按钮’，还要理解’这个按钮是干什么的’——这需要结合按钮周围的上下文来判断。”

更麻烦的是，真实的软件界面远比我们想象的要复杂。ScreenSpot-Pro榜单覆盖26款专业软件、三大操作系统、1581条测试指令，其中最难的一类是专业软件页面——比如编程软件IDE（开发工具）、CAD设计软件、Photoshop。这些软件里密密麻麻全是小图标和相似的按钮，给AI的视觉定位和语义理解都增加了天然难度。实在智能高级算法工程师宋志龙说，“就像你在一个满是相似长相的人的会场里找一个特定的人，人可能扫一眼就找到了，但AI需要逐个‘看’过去。”

2025年ScreenSpot-Pro基准刚发布时，全球最好的模型成功率不到20%。一年后，实在智能把它推到了82.7%。这一年里发生了什么关键突破？

宋志龙介绍，主要有两个方面。

第一，数据变了。现在终端设备分辨率越来越高，从1K到2K、4K，榜单里的图片本身就是超大分辨率、目标被遮挡的复杂场景。团队在这一年里收集了更贴合这些场景的数据集。

第二，方案变了。以前他们直接把整张图丢给模型做识别定位，模型要自己在整张图里分块、分区域，难度很大。现在他们先把整张图切成子图，再分别丢给模型识别——把一个复杂问题拆成多个简单问题，定位更细微的小目标时，难度大幅降低。

软件界面操作截图

这次登顶的模型是32B参数。和动辄几百B的大模型相比，32B确实算小的。

欧阳小刚打了一个比方：32B更像一辆省油、好开的家用车，而不是停在机房里的重型卡车。

“国内企业，尤其是央国企，对私有化部署、数据不出域的要求很高。几百B甚至上万亿参数的模型，很难部署到本地。32B在普通服务器甚至一张高端显卡上就能跑起来，硬件投入少很多，数据还能留在企业内部。”

这意味着：企业不需要花几百万建机房，也能用上很强的AI。

8B模型更极致——一台万元级工作站就能跑起来。在屏幕定位这个核心能力上，部署门槛从“只有大厂玩得起”降到了“普通企业换台电脑就能试”。

现在AI已经能完成从接单到回款的全链路操作。未来它能接管我们电脑上的一切吗？

欧阳小刚的回答很坦诚：AI擅长的是有明确规则、能反复练习的工作——填表、发邮件、整理数据、写PPT、生成流程图。但一旦需要人情判断、创意决策，尤其是需要承担法律责任的环节，就不是AI擅长的了。“大家开玩笑说，AI现在能做的事很多，但最不能做的，是不能替你背锅。”

AI能接管的是“手”，但最终拍板的还是人。

展望未来的办公场景，欧阳小刚觉得AI会更像“贾维斯” ——钢铁侠里那个无所不能的AI管家。你不需要学习复杂指令，像跟同事说话一样告诉AI就行。

在实在智能内部，财务部、市场部、投标中心、研发部门，都在逐渐给每个人配备一个“贾维斯”助理。欧阳小刚预计：3到5年，普通上班族拥有一个数字员工的场景就会实现。那时候，人负责提出需求和做判断，AI负责跑腿和执行——从重复性的填数据、核对报表中解放出来，去做更高价值的决策和风险挖掘。

AI学会“看屏幕”，意味着它从“能聊天”走向了“能干活”。未来几年，当你对着电脑说“把这份合同校对一下发财务”，然后看着它自己打开软件、找到文件、完成操作——你大概不会觉得惊讶。

因为那个“贾维斯”，已经在路上了。

橙柿互动·都市快报 记者 翁丹妮

编辑 成嘉怡

审核 张倩 金立鹏

校对 陈洁珍

BREAK AWAY