![]()
你有没有试过让一个AI助手帮你点开某个软件里的设置按钮,结果它点到了隔壁的图标上?
这种事情看起来小,但对一个想要真正帮你操作电脑的AI来说,这是生死攸关的问题。它看懂了你的指令,也看到了屏幕截图,可就是没办法把语言和画面里那个具体的像素点对应起来。这个能力有个专门的名字,叫GUI视觉定位。
GUI视觉定位:给AI一句话指令和一张屏幕截图,让它精确指出该点击的坐标位置,这是所有"电脑使用型"AI智能体的地基能力。
地基不稳,楼盖不高。这篇来自Prentis AI等机构的论文,就是在解决这块地基的问题,而且解决得相当彻底。
当时的困境:数据和训练方法都卡住了
先说说这个领域当时卡在哪儿。
做GUI定位的AI模型,表现最好的那一批,比如UI-TARS-2、MAI-UI,、Mobile-Agent-v3.5,背后都有一个共同点:它们用的是私有的大规模数据集,外面的人根本拿不到。这就好比几个顶尖厨师各自掌握着独门秘方,你想学做同样的菜,,配方根本不公开。
即便是开源阵营里相对领先的GroundCUA和ScaleCUA,,把数据公开了,但训练出来的模型效果却总是差一口气,,原因是数据的多样性不够,标注准确度也有限。
另一个卡点在训练方法上。
目前训练这类模型主要有两条路,一条是监督微调,,一条是强化学习。监督微调的问题在于,模型会"死记硬背"训练时见过的界面长什么样,换一个新软件、新场景就容易翻车,这叫过拟合特定领域。强化学习理论上能解决这个泛化问题,但它有个致命弱点:稀疏奖励。
稀疏奖励:当任务太难,模型采样出来的所有尝试都是错的,得到的奖励全是零,这样模型根本学不到任何有用的梯度信号,,就像蒙眼投篮,投了十次全不进,你连"往左偏了还是往右偏了"都不知道。
这就是整篇论文要攻克的两座山:数据不够好,训练方法有缺陷。
造一套真正够格的数据集:ScreenRef
论文团队做的第一件事,是自己动手造数据,而且是大规模、高质量、覆盖面广的那种。
他们最终做出来的数据集叫ScreenRef,包含58.6万张屏幕截图,63.3万条指代表达式(也就是"点击设置图标"这类自然语言指令配上对应的坐标标注)。覆盖桌面、网页、移动三大平台,图片分辨率跨度从0.1兆像素到8.3兆像素,几乎囊括了从手机小图标到专业设计软件高清界面的所有情况。
这个数据集是怎么造出来的?论文里给出了两条并行的生产线。
第一条路径,从真实软件截图里提取结构化信息。
桌面应用靠无障碍树(给视障用户用的屏幕朗读接口,天然记录了每个控件的位置和名字),网页靠DOM结构(浏览器用来描述网页元素层级的标准格式),安卓应用靠XML布局文件。这些原始元数据经常不准,比如框选的位置偏了,所以团队又引入了OmniParser V2这个视觉检测工具做交叉验证,把元数据框和实际检测框的重合度(IoU,也就是两个框交集面积除以并集面积)低于0.5的样本直接剔除。
接着用Qwen3-VL-235B-A22B-Instruct这样的大模型根据标注框生成自然语言指令,再用另一个模型Qwen3.8-27B去反向验证:给它原始图片和裁出来的目标框,问它这个答案对不对。这种"生成-校验"的双重把关,保证了数据的可靠性。
这套流程最终产出了三类核心指令:文本识别(靠屏幕上可读的文字找目标)、视觉匹配(靠图标形状、颜色这类视觉特征找目标)、空间理解(靠"在某某左边""在某某容器内"这种相对位置关系找目标)。
第二条路径,更有意思,从YouTube教程视频里挖数据。
真实世界的软件操作教程视频里,藏着大量真实、自然的人机交互场景,这是静态截图很难覆盖的。团队先自动生成搜索词去抓取教程视频,再用语言模型过滤掉非教程内容,然后用FFmpeg从没有字幕的视频里提取音频转成文字稿。
接下来是三步走的处理流程。第一步是关键帧提取,通过计算画面局部变化来定位操作发生的时间点,同时用YOLOv8检测鼠标光标位置作为辅助线索,找到操作前后的两张干净静态画面(避开动画过渡中的模糊帧)。第二步是指令和动作标注,把配对好的前后帧加上字幕片段,一起丢给GPT-5.5,让它生成"点击了什么""这个动作对应的指代表达是什么"这类结构化标注。第三步是坐标定位,先用Qwen3.7-Plus给出目标坐标和置信度打分,如果置信度低于0.95这个阈值,就升级交给Claude Opus 5重新定位,还是不行就直接丢弃这条样本。
这里有个细节值得单独说一下,团队特意构造了"拒绝"类型的样本,也就是故意把不匹配的指令和画面配对,,让模型学会在目标根本不存在的情况下说"我找不到",而不是硬编一个坐标出来。
这就像给一个新来的客服培训,,不仅要教他怎么正确回答问题,,还要教他遇到自己确实不知道答案的时候,,诚实地说"这个我不清楚",而不是瞎编一个答案糊弄过去。如果没有这类拒绝样本的训练,模型遇到画面里根本没有的目标时,,大概率会强行在某个看起来相似的地方点一下,这种虚假自信比"不知道"更危险,因为它会让下游的自动化流程执行一个完全错误的操作。
最终,ScreenRef里有28.4万条样本来自截图路径,剩下的35万条左右来自视频路径。和市面上其他数据集一比,无论是分辨率跨度(0.1到8.3兆像素,远超其他数据集普遍只覆盖0.5到2.1兆像素的区间)还是是否包含拒绝样本(市面上只有ScreenRef和另一个叫JEDI的数据集有这个设计),ScreenRef都占了明显优势。
两阶段训练法:D2RL
有了好数据,第二个问题还没解决,,怎么训练才能让模型既学得准又不死板。
论文提出的方案叫蒸馏到强化学习(Distillation-to-Reinforcement Learning,简称D2RL)。核心思路是分两步走,先用一种叫"在线自蒸馏"的方法打底,再上强化学习精修。
在线自蒸馏(OPSD):让一个"开了天眼"的教师模型,在学生模型自己采样生成的答案前缀上,提供逐个token级别的细粒度指导,而不是只给一个最终对错的判断。
具体怎么运作的?学生模型(也就是正在训练的那个策略网络)看着原始截图和指令,自己生成一个坐标答案。与此同时,有一个冻结参数的教师模型(其实是SFT阶段训练好的模型的一个副本),它看到的画面里额外叠加了目标框的高亮标记和文字提示,相当于提前知道了正确答案在哪。两边都对学生模型生成出来的同一段文字打分,用KL散度(衡量两个概率分布差异的指标)去拉近学生和教师在每个字符位置上的预测分布。
这里还有个精细设计,叫位置感知加权。坐标数字里,百位数字错了会导致位置偏差一大截,个位数字错了影响很小,所以在计算损失的时候,给数字位数越高的token分配越大的权重。
这就像给学生批改数学作业,如果整数部分算错了(比如把235写成835),这是致命错误,必须重点纠正;但如果小数点后第三位有点误差,影响不大,可以轻一点处理。不做这种区分,所有错误都一视同仁地纠正,训练效率会大打折扣,因为模型花了同样多的精力去修正无关紧要的小数点误差,却没有把资源集中在真正要命的位置偏差上。
走完OPSD这一步,模型已经有了一个相对靠谱的起点,,这时候才轮到强化学习登场。
第二阶段用的是REINFORCE Leave-One-Out(RLOO):一种不需要额外训练价值网络(critic)的强化学习方法,通过在同一组多次采样结果里互相比较,用"去掉自己之后其他样本的平均奖励"作为基准线,来计算每个样本的优势。
奖励设计很简单,就是看模型给出的坐标点,有没有落在正确的目标框内,落在就给1分,没落在或者格式都解析不出来就给0分。
这个"先蒸馏打地基,再强化学习精修"的顺序安排非常关键。论文里有个消融实验很能说明问题:单独用监督微调,五个基准测试平均分是68.0;加上OPSD能提到69.1;加上RLOO能提到68.9;但两步合起来的D2RL,能冲到69.9。更重要的是,论文还专门做了个对照,让模型先用那12000条强化学习数据直接做监督微调,再做RLOO,结果只有69.1,比完整的D2RL低了0.8分。这说明D2RL的提升不是因为模型多看了几遍数据,而是因为OPSD真的给强化学习准备了一个更好的起跑点。
这就好比两个学生准备同一场考试,一个是先把基础知识点扎实过一遍再开始刷真题(对应D2RL),另一个是直接硬刷同样数量的真题(对应单纯的RLOO或者反复接触同一批数据)。即使两人最后做的题目总量差不多,前者往往考得更好,因为基础打得牢,刷题的效果才能真正发挥出来。如果跳过打基础这一步直接上强化学习,碰到特别难的样本(比如密密麻麻的小图标),模型采样出来的答案可能全部是错的,奖励全是零,根本学不到东西,这就是前面提到的稀疏奖励问题。
把这套训练流程走完,诞生出来的模型叫GroundGUI-8B,基础模型用的是Qwen3-VL-8B-Instruct。
成绩单:8B模型打出32B的水平
成绩怎么样,数字最有说服力。
GroundGUI-8B在ScreenSpot-V2(综合性GUI定位基准测试,覆盖网页、桌面、移动三端)上拿到95.2%,在ScreenSpot-Pro(专注高分辨率专业软件场景,考验模型在密集复杂界面里找小目标的能力)上拿到63.9%,OSWorld-G(基于真实电脑使用场景的测试,强调布局理解和操作语义)上65.4%,MMBench-GUI L2(考验更复杂的跨平台指令理解)上86.8%,UI-Vision(强调对元素语义和空间关系的推理)上38.3%。
和它的基础模型Qwen3-VL-8B比一比提升幅度:ScreenSpot-V2提升3.5分,MMBench-GUI L2提升5.5分,ScreenSpot-Pro提升14.0分,OSWorld-G提升10.6分,UI-Vision直接提升20.8分。
这组数字里最扎眼的是UI-Vision上接近21分的提升。这意味着什么?意味着原来每5次操作里有1次左右是因为理解不了空间关系或者功能语义而出错的,经过训练后这部分错误被大量纠正了。
再往上比一比,GroundGUI-8B甚至打过了好几个参数量是它4倍的32B模型,包括GUI-Owl-32B、ScaleCUA-32B、OpenCUA-32B和Qwen3-VL-32B。用一个8B的模型打赢32B的对手,这在参数即战斗力的直觉下是挺反常识的一件事,但论文给出的解释很朴素:真正决定上限的往往不是模型大小,而是喂给它的数据质量和训练方法的合理性。
另外论文还专门做了个对照实验,把同样的基础模型Qwen3-VL-8B分别喂上ScaleCUA、GroundCUA、ScreenRef三种数据集,只做监督微调,看谁训练出来的效果更好。结果ScreenRef训出来的模型在四个基准上平均分76.4,比ScaleCUA那组高3.5分,比GroundCUA那组高2.7分。在OSWorld-G上领先更明显,领先ScaleCUA 3.2分,领先GroundCUA 5.3分,,论文分析这很可能和ScreenRef包含拒绝样本有关系,毕竟另外两个数据集根本没有这类训练内容。
这篇论文发表之后,整个GUI智能体的路线图其实已经慢慢清晰起来。此前UI-TARS系列、GUI-Owl系列不断在模型结构和强化学习算法上做文章,比如InfiGUI-G1用自适应探索策略优化、GUI-G2引入高斯奖励建模来处理定位任务里"差一点也该有部分奖励"的问题。GroundGUI这篇论文换了一个思路,把重心放回数据本身和训练顺序的设计上,证明了哪怕用同样的基础模型架构,光是把数据和训练节奏调对,就能实现大幅跃升。这提醒了整个领域一件容易被忽视的事:算法创新很重要,但数据工程和训练策略的精细打磨,很多时候回报更直接。
写在后面
读这篇论文时,印象最深的不是最终那几个百分点的提升,而是团队处理"拒绝识别"这件事的态度。
很多论文在讲GUI智能体的时候,默认前提是目标元素一定存在于画面里,模型只负责找到它。但现实世界根本不是这样,,用户随口一句"帮我点一下那个分享按钮",可能这个界面压根没有分享按钮。如果模型被训练成永远要给出一个坐标,那它学会的其实是一种系统性撒谎,在找不到答案的时候编一个看起来合理的答案。这比答错题更麻烦,因为错误被包装成了自信。
ScreenRef把拒绝样本当成一等公民来设计,这个选择背后其实藏着一种对AI系统工程本身的认知转变:评价一个智能体靠不靠谱,不能只看它答对了多少,还要看它在不该答的时候有没有闭嘴的自觉。这件事放在更大的AI安全讨论里,其实是同一个命题的不同面孔。
另外一个让我反复琢磨的细节是OPSD阶段"教师看得见答案,学生看不见"的设计。这种信息不对称的师生关系,本质上有点像考试里的"标准答案批改法",老师拿着答案册去对学生的解题过程,而不是让老师自己重新做一遍题。这种设计省掉了教师模型"自己也可能出错"的风险,让监督信号变得更纯粹。但它也带来一个没有被论文深入讨论的问题:如果教师模型本身对某类图标语义理解有系统性偏差(比如某种小众软件的专业图标),即便给了标准答案框,它生成的token级指导会不会也带着这种偏差传递给学生?这或许是D2RL这套方法将来需要继续打磨的地方。
Q&A
Q1:GroundGUI-8B是什么?
A:GroundGUI-8B是基于Qwen3-VL-8B-Instruct训练出的GUI视觉定位模型,通过ScreenRef数据集和D2RL两阶段训练方法,能精准把自然语言指令映射到屏幕上的具体点击坐标,在多个基准测试中表现超过部分32B大模型。
Q2:ScreenRef数据集有什么特别之处?
A:ScreenRef包含58.6万张截图和63.3万条指令,覆盖桌面、网页、移动三端,分辨率跨度大,还特别加入了拒绝类样本,让模型学会在目标不存在时主动承认找不到,而不是乱给坐标。
Q3:D2RL训练方法解决了什么问题?
A:D2RL先用在线自蒸馏让模型获得一个更好的训练起点,再用强化学习精修,解决了纯强化学习在难样本上奖励全为零、学不到信号的问题,也避免了纯监督微调容易死记硬背导致泛化差的毛病。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.