明略科技(2718.HK)自研大规模 Web Agent 综合评测基准 WebRetriever，成果获 ECCV 2026 接收

当AI智能体从简单的对话框迈向复杂的浏览器场景，它能否真正像人类一样，在瞬息万变、充满弹窗和频繁改版的真实互联网中独立完成任务，成了当前AI走向实战的核心瓶颈。

近日，明略科技面向网络智能体（WebAgent）评测的大规模综合基准WebRetriever相关论文，已被计算机视觉领域国际顶级会议ECCV2026正式接收。该基准覆盖800个真实在线网站、1,550项任务，并在大规模真实网络环境下，首次量化了智能体“到达正确页面”与“任务真正完成”之间的真实能力差距，为这一快速发展的领域建立起更贴近真实应用的评测标准。

-Github代码：https://github.com/Mininglamp-AI/WebRetriever

-WebRetriever榜单主页：https://mininglamp-ai.github.io/WebRetriever/

-Huggingface数据集：https://huggingface.co/datasets/Mininglamp-2718/WebRetriever

-Mano-P主页：https://github.com/Mininglamp-AI/Mano-P

三大系统性方案，攻克WebAgent评测核心痛点

当AI从对话交互走向浏览器操作，如何客观衡量其任务完成能力，已成为业界关键的研究命题。当前主流评测方法普遍存在三方面局限：数据规模有限且领域覆盖单一；自动评判过度依赖视觉截图，难以捕捉细粒度交互语义；以及将“导航成功”等同于“任务完成”，忽视了对最终交付结果的检验。

针对这三大行业痛点，WebRetriever给出了系统性的解决方案：

WebRetriever从三个方面解决了先前工作的关键局限性：数据集规模和多样性、自动化评估的可靠性，以及面向部署的评估协议。图片来源：明略科技

1、扩容真实网络场景，打破单一评测局限

WebRetriever构建了覆盖800个真实在线网站、1,550项任务的评测集，横跨电商、金融、医疗、政务、教育等多个行业，既涵盖普通用户的日常操作，也包含专业场景下的复杂需求。

相较此前同类真实在线（非镜像托管）基准普遍不超过300个网站、且多偏重单一意图类型的现状，WebRetriever在覆盖广度与意图多样性上实现了显著提升。所有评测均在真实互联网环境中执行，网站的动态更新、改版与偶发弹窗等真实变量均被完整纳入，确保评测结果最大程度贴近实际应用场景。

2、融合多维交互信号，突破仅看截图的评判盲区

现有自动评测方法多以页面截图作为唯一判据，依赖视觉信息，难以还原Agent在搜索输入、条件筛选、请求参数等环节的实际操作。

为此，明略科技团队提出了新颖的LLM-as-Judge框架——NavEval（导航评估）。NavEval在视觉信息之外，通过浏览器自动化工具完整捕获网络请求序列与操作轨迹，经规则化过滤提取出细粒度的交互信号，再与任务描述、最终截图共同交由大模型进行综合研判。

在大规模实验中，NavEval与人类专家判断的一致率达到了91.2%，显著高于此前同类方法的最佳水平（约81%）；并在跨数据集验证中保持了97%的极高一致率，使大规模场景下的自动化评测首次达到可信赖的精度水平。

NavEval工作流示意，图片来源：明略科技

3、三个评测协议，厘清导航与完成的本质差距

WebRetriever设计了三个评测协议，系统拆解WebAgent的能力构成：第一个协议考察基础导航能力，即能否准确到达目标页面；第二个测试在操作文档辅助下的导航表现，即通过为Agent提供目标网站的操作文档，观察其导航成功率的提升幅度；第三个要求Agent从导航到信息提取，端到端独立完成完整任务。

网站操作文档的半自动构建流程，图片来源：明略科技

实验结果显示，当前主流WebAgent在纯导航任务上的成功率最高约为45%；但一旦进入端到端的完整任务，即使表现最好的模型，完成率也仅约20%，多数甚至不足15%。“到达正确页面”与“任务真正完成”之间存在着巨大的鸿沟，这一量化发现也为行业下一阶段的研究指明了重点聚焦的方向。

WebRetriever全球挑战赛即将开启

作为一套面向真实互联网的开放评测基准，WebRetriever的价值不仅在于理论研究，更在于推动大模型WebAgent技术的应用边界。

明略科技将于近期正式启动WebRetriever全球挑战赛，大赛将面向全球研究者、开发者与技术团队开放，在最贴近真实应用的评测环境中检验各自WebAgent的实战能力。

赛事的具体规则与报名方式将于近期另行公布，敬请期待！

以上内容与数据，与有连云立场无关，不构成投资建议。据此操作，风险自担。