上海
当 AI 智能体从简单的对话框迈向复杂的浏览器场景，它能否真正像人类一样，在瞬息万变、充满弹窗和频繁改版的真实互联网中独立完成任务，成了当前 AI 走向实战的核心瓶颈。
近日，明略科技面向网络智能体（Web Agent）评测的大规模综合基准 WebRetriever 相关论文，已被计算机视觉领域国际顶级会议 ECCV 2026 正式接收。该基准覆盖 800 个真实在线网站、1,550 项任务，并在大规模真实网络环境下，首次量化了智能体“到达正确页面”与“任务真正完成”之间的真实能力差距，为这一快速发展的领域建立起更贴近真实应用的评测标准。
- Github 代码：https://github.com/Mininglamp-AI/WebRetriever
- WebRetriever 榜单主页：https://mininglamp-ai.github.io/WebRetriever/
- Huggingface 数据集：https://huggingface.co/datasets/Mininglamp-2718/WebRetriever
- Mano-P 主页：https://github.com/Mininglamp-AI/Mano-P
三大系统性方案，攻克 Web Agent 评测核心痛点
当 AI 从对话交互走向浏览器操作，如何客观衡量其任务完成能力，已成为业界关键的研究命题。当前主流评测方法普遍存在三方面局限：数据规模有限且领域覆盖单一；自动评判过度依赖视觉截图，难以捕捉细粒度交互语义；以及将“导航成功”等同于“任务完成”，忽视了对最终交付结果的检验。
针对这三大行业痛点，WebRetriever 给出了系统性的解决方案：
WebRetriever 从三个方面解决了先前工作的关键局限性：数据集规模和多样性、自动化评估的可靠性，以及面向部署的评估协议。图片来源：明略科技
1、扩容真实网络场景，打破单一评测局限
WebRetriever 构建了覆盖 800 个真实在线网站、1,550 项任务的评测集，横跨电商、金融、医疗、政务、教育等多个行业，既涵盖普通用户的日常操作，也包含专业场景下的复杂需求。
相较此前同类真实在线（非镜像托管）基准普遍不超过 300 个网站、且多偏重单一意图类型的现状，WebRetriever 在覆盖广度与意图多样性上实现了显著提升。所有评测均在真实互联网环境中执行，网站的动态更新、改版与偶发弹窗等真实变量均被完整纳入，确保评测结果最大程度贴近实际应用场景。
2、融合多维交互信号，突破仅看截图的评判盲区
现有自动评测方法多以页面截图作为唯一判据，依赖视觉信息，难以还原 Agent 在搜索输入、条件筛选、请求参数等环节的实际操作。
为此，明略科技团队提出了新颖的 LLM-as-Judge 框架——NavEval（导航评估）。NavEval 在视觉信息之外，通过浏览器自动化工具完整捕获网络请求序列与操作轨迹，经规则化过滤提取出细粒度的交互信号，再与任务描述、最终截图共同交由大模型进行综合研判。
在大规模实验中，NavEval 与人类专家判断的一致率达到了 91.2%，显著高于此前同类方法的最佳水平（约 81%）；并在跨数据集验证中保持了 97% 的极高一致率，使大规模场景下的自动化评测首次达到可信赖的精度水平。
NavEval工作流示意，图片来源：明略科技
3、三个评测协议，厘清导航与完成的本质差距
WebRetriever 设计了三个评测协议，系统拆解 Web Agent 的能力构成：第一个协议考察基础导航能力，即能否准确到达目标页面；第二个测试在操作文档辅助下的导航表现，即通过为 Agent 提供目标网站的操作文档，观察其导航成功率的提升幅度；第三个要求 Agent 从导航到信息提取，端到端独立完成完整任务。
网站操作文档的半自动构建流程，图片来源：明略科技
实验结果显示，当前主流 Web Agent 在纯导航任务上的成功率最高约为 45%；但一旦进入端到端的完整任务，即使表现最好的模型，完成率也仅约 20%，多数甚至不足 15%。“到达正确页面”与“任务真正完成”之间存在着巨大的鸿沟，这一量化发现也为行业下一阶段的研究指明了重点聚焦的方向。
WebRetriever 全球挑战赛即将开启
作为一套面向真实互联网的开放评测基准，WebRetriever 的价值不仅在于理论研究，更在于推动大模型 Web Agent 技术的应用边界。
明略科技将于近期正式启动 WebRetriever 全球挑战赛，大赛将面向全球研究者、开发者与技术团队开放，在最贴近真实应用的评测环境中检验各自 Web Agent 的实战能力。
赛事的具体规则与报名方式将于近期另行公布，敬请期待！
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
