网易首页 > 网易号 > 正文 申请入驻

Tabbit 万字复盘:做了一年半 Browser Use,我们学到的苦涩教训

0
分享至


过去一年半,Tabbit 一直在尝试让 Agent 像人一样使用浏览器:看截图、读 DOM、找按钮,再一步步点击。他们花了大量精力优化工具和 Harness,但始终没等来「好用」的临界点。 直到 Codex 用一个循环完成 200 多条后台配置,Tabbit 意识到,浏览器操作也可以被抽象成编程问题。模型直接写代码、组织循环、保留状态,复杂任务变得更快、更稳定。 这篇文章完整复盘了 Tabbit 对 Browser Use 的探索,为何推翻原来的 GUI 路线、转向 Coding-first,又如何重新搭建 Tabbit CLI。这是一个做产品很难回避的「苦涩教训」:模型能力跨过临界点后,过去精心搭建的脚手架,反而可能成为限制。 以下为原文内容,Founder Park 授权转载自「潦草学者」。

在计算机科学长达七十年的演进史上,存在一个近乎宿命般的规律:


AI researchers have often tried to build knowledge into their agents 人工智能研究者常常试图将知识直接嵌入其智能体中; this always helps in the short term, and is personally satisfying to the researcher 这种方法短期内总能见效,且令研究者个人感到满足; but in the long run it plateaus and even inhibits further progress, 但从长远来看,它终将遭遇瓶颈,甚至阻碍进一步发展; breakthrough progress eventually arrives by an opposing approach based on scaling computation by search and learning. 真正的突破性进展最终源于一种截然相反的方法——即通过扩大搜索与学习所需的计算规模来实现。

这就是强化学习之父理查德·萨顿(Richard Sutton)在 2019 年写下的著名论断:《The Bitter Lesson》(苦涩的教训)。

过去一年半里,Tabbit 团队一直在研究 Browser Use。

  • 为了让模型能够从实验室走向用户的真实场景,我们围绕用户真实使用的网站,构建了内部的测评集。

  • 从 Harness 架构设计到浏览器内核的底层,小到一个工具的设计,大到模型训练;

  • 为了让模型「看懂」页面,我们把 DOM 树压缩成上百种标签,裁剪不可见元素,把榨干到极致;

  • 为了让模型能够点的更准,我们测试了超过几百种模型+harness 的组合

但直到大模型的能力跨过某个临界点,模型的进步几乎在一夜之间,颠覆了我们原来的架构。我们又不得不及时转向,拥抱最前沿的架构设计。

一直迭代到今天,Tabbit 的 Browser Use 已经具备了领先的 SOTA 级别能力。

越是走到最后,我们越是深刻地体会到计算机领域那句名言的分量——The Bitter Lesson(苦涩的教训)。

今天我们就来聊聊 Tabbit 上到的这场 Browser Use 的苦涩的教训。

这是一篇用真实的工程血泪、无数次深夜推翻重来、以及击败次 Benchmark 跑出来的完整实录。

⬆️关注 Founder Park,最及时最干货的创业分享

01

让 Agent 像人类一样操控浏览器

从自动化测试到 Browser-Use 开源

浏览器的本质是把各种远程或本地的资源,变成一个可以交互的「运行中的页面」。

你访问一个网址,服务器返回的只是一段文本,比如

Hello。浏览器拿到后,要经过这些步骤:

HTML 文本 → 解析成 DOM tree → 结合 CSS 样式 → 计算布局 → 绘制页面

在浏览器内部都是 DOM 里的一个个节点。想让程序操控网页,本质上就是从外部去读取和修改这些节点,再模拟点击和输入。

在大模型进入浏览器之前,这件事就已经有很多人在做,目的主要是开发者的自动化测试。当时的做法是,人把每一步提前写成脚本,比如打开哪个网址、等哪个元素出现、点哪个按钮,程序只负责照做。

  • 2004 · Selenium:最早的主流方案,后来的 WebDriver 成为 W3C 标准。

  • 2011 · PhantomJS:没有界面的「隐形浏览器」。

  • 2017 · Puppeteer:Chrome 团队推出,基于 CDP(Chrome 开发者工具底层通道)。

  • 2020 · Playwright:微软推出,支持多种浏览器,自带自动等待与深入的控制通道。

CDP 几乎能碰到浏览器里的一切,但写起来很繁琐。

Puppeteer 和 Playwright 把它包装成了易用的接口,比如点一个按钮只要一行:

 page.getByRole('button', { name: '保存' }).click();

这套工具本来是给程序员用的。

但后来他们成为 Browser Use 的关键,不过,这是后话了。

Browser-Use 0.1 开源与 GUI 仿真循环

2024 年 11 月,Browser Use 正式开源。

当时默认接入的模型是 GPT-4o,但 GPT-4o 并没有专门针对 Computer Use 进行过定向训练,无法可靠地理解自己在复杂网页上究竟能做什么。

Browser Use 为了让模型可以完成浏览器操控任务,给 Agent 提供了十个工具:

  • search_google:用 Google 搜索关键词

  • go_to_url:在当前标签页打开指定网址

  • go_back:返回上一页

  • click_element:根据页面元素编号点击按钮、链接等

  • input_text:根据元素编号向输入框输入文字

  • extract_page_content:提取当前页面正文,返回 Markdown

  • switch_tab:切换到指定浏览器标签页

  • open_tab:新建标签页并打开网址

  • nothing:新建标签页并打开网址

  • done:结束任务并向用户返回结果

每一步执行的时候,browser 还自动执行了

  • take_screenshot():截图,每步在启用视觉时截图,随状态返回

  • get_current_state():读取页面元素、URL、标题、元素选择器映射及标签页信息

browser-use 0.1.0 的运行方式,就是典型的 GUI 的思路。

「看网页 → 模型决定下一步 → 执行操作 → 再看网页」的循环。

  1. 用户发出任务:例如「搜索某个产品,整理价格」。

  2. 程序会读取当前浏览器状态:程序会读取当前网址、标签页信息,并从 DOM 中整理页面元素,给可交互元素分配编号,例如「12:搜索框」「18:搜索按钮」。开启视觉时,同时截一张图。

  3. 把页面信息和截图交给 Agent:模型收到任务、历史记录、当前元素列表、标签页信息和截图,判断下一步该做什么。

  4. 模型一次选择一个动作:它返回结构化结果,包含对上一步的评价、任务记忆、下一步目标,以及一个动作。例如:input_text(id=12, text="browser-use")。

  5. browser-use 执行动作:控制器把元素编号映射到实际元素的 XPath,再通过 Selenium 点击或输入;导航、切换标签页等也由 Selenium 执行。执行结果或错误会反馈给模型。

  6. 不断重复,直到结束:循环这个过程。在需要完整正文时也会调用 extract_page_content;遇到缺失信息可以 ask_human 来询问用户;完成后调用 done 返回结果。默认最多运行 100 步。


为了让当时的模型更好地理解页面信息。他们还在页面上面给网页打上了标签。

通过 dom 信息和截图结合,让模型更好地理解页面内容。(比如下面的图)


这个流程的设计的美妙之处在于:

人不也是这样使用浏览器的吗?看一眼,点一下,再看一眼。

只是人类的 React(观察-思考-行动循环)的速度要快得多。

除了 Browser-Use 这个开源项目外,围绕怎样让 Agent 操作浏览器,业界也做了很多了不同的尝试。

一是 Browserbase 的 Stagehand,把自然语言意图和代码执行结合起来,让开发者可以用「点击登录」「提取列表」等高层描述完成交互;

二是微软的Playwright MCP,通过 MCP 协议把页面的结构化信息和浏览器底层操作能力交付给模型;

Vercel Labs 的 agent-browser也把这套能力包装成了轻量命令行工具。Agent 可以先获取一份精简的页面快照,再通过元素编号执行点击与输入,更低门槛地接入现成的 Coding Agent。

这些方案都是和 Browser-Use 类似的思路。通过提供各种 tools 来让 Agent 像人类一样操控浏览器。

就这样,看起来多了很多 Browser Use 的工具和框架。

但整整一年多过去,一直到 2026 年,这些 Browser Use 的工具迭代了很多版本,增加了很多细节。却一直没有迎来从「可用」到「好用」的临界点。

速度慢,点不准,失败率高是用户最经常诟病的问题。模型能力似乎就是还不能很好地完成浏览器操控的任务。

沿着让 Agent 像人类一样操控浏览器的方向,Tabbit 第一版本的 Browser Use 同样走这样的 GUI 路线。

在当时的模型能力下,Browser Use 的任务对于模型来说非常困难。举例来说,模型在输出 click_element 点击事件时,很多网页复杂组件(如飞书多维表格、各类云文档画布)的内部元素根本没有合法的 DOM 节点,无法通过选择器定位,只能退而求其次让模型输出 click_coordinates,去预测精准的 (x, y) 坐标。

即便有了 Dom 信息的加持,给网页加上了框框。但在一些复杂的页面,例如 google sheets 或者飞书多为表格这样,把页面交互都嵌套在 canva 里面的页面,DOM 信息根本无法提供判断,甚至还会干扰模型的选择。


在当时,即便是像 Claude 3.5 Sonnet 或 Opus 这类顶级模型,在真实网页截图上也经常出现几十像素的坐标漂移;换到当时大部分尚未支持原生多模态的国产模型上,让它在千奇百怪的分辨率下盲猜坐标,简直是一场灾难。

所以当时,模型执行成功一个 Browser Use 任务的成功率只有可怜的 60% 左右。

Seed 1.8 让人看到了曙光

直到字节跳动发布 Seed 1.8 模型,似乎让我们又看到了一丝希望。当时豆包手机内测版亮相,官方公布在 Seed 1.8 的训练过程中融入了大量真实的移动端与 GUI 操作轨迹。


当时我看到这个消息的时候,很兴奋,想着这不正是我们想要的能力嘛,说不定 Browser Use 100% 的成功率就差这神之一手!

于是第一时间进行了测试...

果然!Seed 1.8 的 GUI 操作能力是史无前例的强大的。他在这需要点击任务上面的准确率非常高。在一些 GUi 点击为主的任务上,Seed 1.8 在我们内部的 benchmark 成绩甚至完爆了 claude 的模型。

比较有趣的发现是 Seed 1.8 在操作一些手机上面没有的组件时,显得比较笨拙,譬如点击下拉框,滑动或输入来找到选项,再选中选项。这种下拉框选择在 PC 端产品上面是常见的交互,手机上却比较少。在进行这种交互时,Seed 1.8 还是经常会犯错误。

但另一方面,缺点是,Seed 1.8 的模型参数量不大,智力比较差,在一些需要智能的任务上,表现欠佳。

我们一直很期待 Seed 2.0 系列的模型可以将 Seed 1.8 的优势放大,并提升智力。

后来,Seed 2.0 确实如期发布...

结果谁想到 Seed 2.0 系列模型的表现得比 Seed 1.8 还差。

Seed 1.8 上面强大的 GUI 能力,甚至在 Seed 2.0 系列上面还退步了。。。

想来,并没有加入相关的数据训练,实在是让人感到惋惜。

Google 也重度下注:APC与 GLIC 架构

无独有偶,Google 也选择了 GUI 的路线。它甚至把感知和执行做进了 Chromium 内部。

在 Chromium 源码里,这套集成层叫 GLIC。它的页面感知能力依赖 APC(Annotated Page Content),动作则交给 Actor 框架。

APC 更像是 Google 为了 Browser Use 设计的一套新的网页的内容格式。区别于 DOM 信息,APC 是遍历网页 Blink 的 layout tree,把渲染后的页面整理成结构化内容。一个节点可以包含文本、角色、位置、样式、链接、表单状态,以及是否可点击、可编辑、可聚焦等信息。

APC 的内容非常全,但内容也大的可怕。甚至可以理解为,APC 就是把网页的图片信息,硬生生用文本的方式塞给了模型。

或许也因为上下文的压力,Google 尝试着将一次读取信息以后,输出多个动作。

2026 年 6 月,Google 宣布将 Computer Use 原生集成进 Gemini 3.5 Flash。从 Google 的官方文档 (10) 可以看出,它支持一轮返回多个动作并在执行后再回传新截图,这与我们在 GLIC 框架下的观察相吻合。

而且经过我的实测,甚至我一度怀疑,google 在这个方向方向上面训练了 Gemini-3.5-flash 和 Gemini-3.6-flash 两代模型。

在我们内部的测评中,发现了 Gemini 3.5/3.6 Flash 在 GLIC 这套框架的表现下,Gemini 3.5/3.6 Flash 两代模型,倾向于在看完一张截图以后,就连续地触发几个动作进行操作,再进行下一步的观察和行动的循环。在一次响应里给出多个工具调用,也就是 batch tools,可以说是 google 独特的 taste。


当然,这里只是我的基于测试和观察的猜测,并非 Google 公开的训练机制。

后来有一点也可以佐证,Google 的模型对执行动作的偏好比其他模型强大很多。

在 CursorBench 4.0 的基准测试中,Gemini Flash 系列平均每个任务的步骤数,远远超过其他的模型。Gemini Flash 系列的模型,就像一个精力过剩的「多动症小孩」,不怎么喜欢深度思考,但格外喜欢快速执行动作。

但这样的特点,很明显并没有被继承到 Gemini 4 系列上面。


Google 有浏览器,有数据,有模型,他完全有能力定义这样一套新的方式。

但从浏览器底层,到接口层,到模型训练,全部都投入精力以后。Google 拿出的成绩也并没有取得很好的效果。

Google 选择的方向也并没有带来很大的突破。

在我们内部的测评集中,Gemini-3.5-flash 和 Gemini-3.6-flash 的成绩平平无奇,甚至还比不上 Claude-3.7-Sonnet。

而 Google 的 Gemini Chrome Use,则还只是在很小的范围内开放。

所以今天,如果你想挑一款能够帮你完成任务的 AI 浏览器,Tabbit 是你的最佳选择。

另外,Anthropic 的 Claude 在 Browser/Computer Use 上同样尝试过类似的批处理探索。在其官方最佳实践指南 (12) 中,Claude 引入了实验性的 Batch Tools 动作 (computer_batch、browser_batch):允许单次交互调用执行多个动作。

批量执行让 N 个机械动作只需一次往返,在长流程中能节省时间和 Token。但误差也会累积:前一步失败后,后续动作仍会基于过时状态执行,而 Agent 看不到实时截图,往往察觉不到偏差。因此,它只适合填表、连续快捷键等互不依赖的操作,不适合探索式导航。

02从一次偶然配置开始说起

不知道从某一版本的模型开始,我们偶然发现:

给 Agent 提供一个 eval_javascript 的工具,也就是让模型直接在页面内写 JavaScript 代码来完成动作,成功率和执行速度有了质的提升。

因为网页本身就是一段在浏览器里运行的程序。你看到的按钮、输入框、列表,在浏览器内部都是 DOM 节点, 而 JavaScript 天生就能读取和修改这些节点。 点击按钮、填写表单、提取评论、批量处理列表,这些动作在页面里只是几行代码:document.querySelector('button').click()。代码直接面对 DOM,该循环就循环,该筛选就筛选, 不必像人一样"看一眼、点一下、再看一眼"。

执行 javascript 的方案,之前 Tabbit 并不是没有测试过,

在 Tabbit 的第一版本中,我们就上线了脚本妙招的功能,背后正是 JavaScript 的能力。在网页中注入 javascript 并执行,可以用来改变页面中的页面信息,也可以进行浏览器操作。

脚本妙招可以用来提取一批评论,不必逐条阅读;处理一组列表,不必逐项点击;修改网页样式等等。


但之前在测试过程中,发现模型经常会写出错误的 js 代码,反复地重试,反而让进行的时间和上下文不断的积累。

但到 2026 年年初,我们突然发现,模型直接输出js的执行成功率明显上升。

模型生成的 js 直接在页面中运行变得很稳定。所以,我们也提供了一个 eval_javascript 的工具,来让模型执行的速度变快。

起初我们以为,在页面中运行 js 代码来提效的方式,只是一种取巧的方案。只能提高部分场景下生效,如果模型频繁地执行错误,可能还会导致执行过程过长,在部分网站下面,可能还会被封禁。

但接下来以 Coding-First 为代表的 Browser Use 方法狠狠打了我们的脸,甚至改变了整个 Browser Use 的游戏

早在 2024 年 2 月,CodeAct 论文就提出:与其让 Agent 拘泥于预设的 JSON 格式逐个调用固定工具,不如赋予它直接编写并执行 Python 代码的能力,将「可执行代码」作为统一的行动介质。代码天然能够表达循环、判断、异常捕获与工具串联。这项研究虽未局限于浏览器,但揭示了一个根本趋势:让模型用编程语言组织行动,能够彻底突破传统工具调用的协议枷锁。

Hugging Face smolagents(2025 年 1 月的浏览器案例)也把这条思路应用到了浏览器操作上面:让 CodeAgent 直接编写 Python,调用成熟的 Helium/Selenium 库浏览网页,再把执行后的截图反馈给模型继续判断与行动。其观点同样是:既然模型已经擅长写代码,就可以让它直接复用成熟的自动化库,无需再为每一种操作单独设计私有的 Agent 工具。

但这些早期的观点,一开始我只是把它们当作学术界的尝试,距离实际工程落地还比较远。

2025 年下半年开始,模型的 Coding 能力在迅速地加强。直到 2026 年的某个深夜...

我被 Codex 彻底震醒

Tabbit 浏览器的一个新功能上线,我需要配置一批后台选项。

如果你也是产品或者运营,应该知道那种把自己当成机器在配置的感觉——对着一个数据表格,在后台里新建一个项目,逐个填写里面需要的信息,检查,点击确定,然后再... 重复下一条配置——直到完成。


那天的配置量,如果手工做下来,大概要一个多小时。

而那一天,刚好 OpenAI 的 Codex 发布了他们新的 Chrome 扩展,可以让 Codex 直接操控浏览器。

抱着测试产品的,顺便完成工作的目的,我就尝试让 Codex 来帮我配置后台的数据。

原本没有抱太大的期望,但当 Codex 开始干活的时候,我被他的折服了。

不到半个小时,它就干完了我的全部配置工作。我再发了一个任务检查,十分钟,全部检查完毕,无一遗漏。

我十分震惊,除了震惊于这个速度外,更是 Codex 操控浏览器的方式。


它完全没有按我们过去一年为 Agent 预设的套路出牌。

在过去一年里,我们为了让模型看懂一个后台页面,要截图、提取 DOM、裁剪不可见元素、计算滚动偏移、规划单步多轮交互;

而 Codex 呢?

它不需要像人一样反复「看一眼、想一步、点一下」,只是一味地不断输出代码。跑通第一个配置后,剩下的 200 多个任务对于 Coding Agent 而言,仅仅意味着代码里的一个遍历循环。一个 for 循环带上变量和状态,就在两分钟内把 200 多条配置无声无息地灌进了后台系统。

那一刻坐在屏幕前的我,感受到了前所未有的认知冲击:我们在 Tabbit 探索了整整一年,费尽心思,想让模型像人类一样操控浏览器,在最质朴的代码面前,突然显得有些笨拙和多余。

游戏规则彻底变了:一旦模型能用代码观察、操作和验证一个环境,它就可以把整个浏览器交互当成一个纯粹的编程问题来解决。

拆解 Codex:把浏览器操作抽象为编程问题

我连夜打开了我的 Codex,找到了 Codex 保存在本地的插件,把他拆开,想弄清楚:它到底是怎么做到这样的?

Codex 的解决方案非常聪明,他把所有的问题,都抽象成了接口。

一共有四类:

  • Playwright(首选):用 selector、role、text、testId 定位元素,写 locator().click() 这类代码。可读、稳定,模型也最熟悉。

  • DOM-CUA:读取只含可交互元素的 DOM,用 node_id 来点击、输入、滚动。它介于 Playwright 和视觉之间。

  • 视觉 CUA:看截图,用 (x, y) 坐标点击。只在 Playwright 定位不到元素时兜底,比如画布和飞书表格。

  • 原始 CDP:直接发送 Chrome DevTools Protocol 命令,是最后一层兜底。

将浏览器操作的全部任务,都抽象成了代码来执行。

而现阶段模型最强大的能力,就是写代码。加之,想让 GPT 系列模型显然为这样的任务训练过,在调用这些接口的时候非常得心应手,所以速度非常快。

这套设计里,还是虽然旧的元素都没有变化,模型还是会使用视觉和 CDP 来操控浏览器,只不过主次变了。Coding 成为了主要角色,只有在 coding 解决不通的时候,才退而求其次,使用 GUI 的方案。


03Tabbit CLI 目前最领先的 Browser Use 是如何诞生的?

我们是如何构建 Tabbit CLI 的?

学习竞争对手的方案,也从结合我一年来积累的在浏览器真实任务的经验积累。

2026 年 8 月,Tabbit 正式推出了 Tabbit CLI 方案。

让 Agent 通过 Tabbit CLI 就可以控制 Tabbit 浏览器,执行环境可以保留页面、变量和任务进度,同时复用用户已有的登录态。并且 Agent 在后台任务空间里工作,不抢占用户正在使用的窗口。

用户可以和 Agent 在浏览器里面协作。

在接口上,我们选择 Playwright 作为首选,而不是把裸 CDP 作为唯一答案

Playwright 其实我们在开头时就提到过。这个词语我们并不陌生。在还没有 Browser-Use Agent 的时代,我给 Agent 发起一个浏览器任务,但没有提供任何浏览器工具的情况下。模型的表现会直接执行:

pip install playwright

playwright install chromium

然后,一个新的 Chromium 被下载到了我的电脑上。

为什么会这样?

我们的推测是,浏览器自动化、computer use 和前端 E2E 测试里都有大量相关内容,Playwright 已经成为模型熟悉的表达方式。也就是说,模型在训练的过程中,就大量地接触了 Playwright 的数据,Playwright 的训练数据占比要比其他的框架高得多。所以模型默认会优先使用 Playwright。

当然,这个判断来自我的观察,我无法准确证明训练语料里的占比。

因此,我们选择了首选 Playwright 来作为主要的方向。

第一,模型对 playwright 更熟悉。作为一个成熟的浏览器自动化框架,Playwright 的代码、文档和使用案例早已广泛存在于互联网中,模型在学习编程能力的过程中,就已经具备了使用 Playwright 的基础。

不仅如此,Playwright 也被应用于 Browser Use 的训练数据生成。2025 年 2 月发表的 InSTA 研究,就让 Agent 直接调用 Playwright API 执行网页任务,并利用这些操作轨迹训练模型。

早在 2025 年,我们就观察到一个有趣的现象:即使没有专门提供浏览器操作工具,只要 Agent 拥有终端和代码执行能力,它也经常会主动尝试安装和使用 Playwright 来操控浏览器。

第二,Playwright 和 CDP 并不互斥,而且 Playwright 在大多数常规任务中具有更高的开发效率。

Playwright 本身就是建立在浏览器底层控制能力之上的高级封装。而且选择 Playwright 并不意味着放弃 CDP 的能力。

Playwright 本身就提供了 CDPSession。当常规接口无法满足需求时,Agent 仍然可以直接调用 Chromium 的原始 CDP 接口。而 Playwright 的高级封装,在执行很多事情的时候,是更快速的选择。

所以,Tabbit 优先使用模型已经能够熟练编程的通用接口,并保留继续向下的通道。在 playwright 的基础上,对 tabbit 中的功能进行定制,支持更多的能力。


Tabbit CLI 的 Benchmark 表现

我们用 BU Bench V1 的 25 道题,对 Tabbit CLI、Codex Chrome 和 Vercel Labs 的 Agent Browser 做了对比。每种方案运行 25 题 × 3 次,共 75 次,使用同一个模型,结果由 Reviewer 模型判断。


Tabbit 在这组测试中正确率最高,成本最低,速度也最快。

按每个正确答案计算,Tabbit 的输入 token 比 Codex Chrome 少约 49%,比 Agent Browser 少约 61%。P90 耗时为 220.6 秒,Agent Browser 则为 489.0 秒。

当然这些数据只代表目前模型、宿主、题目和网页环境,未来我们还会继续优化。

我们也在公开页面里展示 5 个更贴近业务的案例:

  1. WorkBuddy 浏览信息源,整理每日 AI 日报;

  2. QoderWork 查看小红书内容,并输出复刻脚本;

  3. Codex 在有赞管理后台录入商品;

  4. DeepSeek 把数据写入飞书多维表格;

  5. 豆包工作查询并跟踪股票价格。

关于上述案例的完整测试数据与复现配置,感兴趣的朋友可以查阅公开的 Benchmark 评测报告。


workbuddy 控制 tabbit-cli 完成 AI 日报的任务

Browser-use 也承认了这一路线

同样的,Browser-use 显然也已经意识到了这一点,游戏规则变了。

2026 年 4 月,Browser-use 在其技术博客发表文章 The Bitter Lesson of Agent Harnesses。该文章的核心观点是:不要把浏览器操作封装得太死,给 Coding Agent 底层 CDP 的访问能力,并允许它修改自己的工具代码,让它按任务需要补齐能力。

2026 年 6 月,Browser-use 又把 CLI 加入并迁移到开源仓库的新 Harness 路线上。模型不是从固定动作中选择,而是换了一种方式,通过持续代码执行和底层接口完成工作。

同一个月,Browser-use 的方向已经和最初很不一样:状态不再只能由框架预先整理,动作也不再只能来自一张固定菜单。

2026 年 9 月,Browser-use 又发表了续篇 The Bitter Lesson of Browser Agents。这一次,正式确认 Coding Agent Harness 才是最成熟的 Browser Use 方案:只需要增加简单的 browser_exec 一类工具,让模型用持续代码和底层 CDP 自己决定观察什么、执行什么。

2026 年 11 月,Browser-use 终于发布了 V1.0.0 版本,宣布 All in CDP。

Tabbit 和 Browser-use 不同的 Taste

Tabbit CLI 在 Playwright 的基础上,构建了完善功能的 Tabbit CLI 来接入真实浏览器。

而 Browser Use 倾向于让模型直接输出原生的 CDP 代码,并采用他们自己的 Harness 和云浏览器来使用。

其实早在 2025 年,Browser Use 团队就宣布放弃 Playwright,转向直接使用 CDP。他们发现,在需要大量底层调用进行元素提取、截图和状态检测的场景下,Playwright 的中间层会带来额外开销,一些浏览器内部行为也难以通过现有抽象精确控制。到了 2026 年,他们甚至更进一步,提出应该减少 Harness 对工具的预先封装,让 Coding Agent 直接使用 CDP,并在遇到问题时自行编写或修改控制代码。

而 Tabbit 团队则选择 Playwright 作为基础的能力,来构建。

我认为这是两种不同的技术取舍。

Browser Use 是一个更偏向极客的开源项目,希望尽可能减少抽象,让模型直接面对浏览器底层能力;

而 Tabbit 浏览器则更加务实,则倾向于充分利用 Playwright 已经成熟的能力,让模型处理常规任务时更简单、更稳定,只有在遇到特殊需求时才下沉到 CDP。这样在多数场景下,可以为用户提供更好的使用体验。

我们内部的实验结果也支持了这一结论。这也是我们理解的 Coding Agent 的优势:用代码来处理数字世界的任务,并且使用 Agent 最熟悉的 playwright 代码。和 browser-use 追求纯粹的 CDP 的品味和取舍不相同。

04Jev-like 模型可以用来操控浏览器吗?

聊到这里,可能有人会问:Jev 发布的时候,社区展示的 Browser Use 案例非常惊艳,响应速度极快,感觉端侧小模型才是最快的解法?

Jev 能不能用它来做 Browser Use?

我们的判断是:Jev 更适合承担问题明确边界的局部判断,并入聚焦在一个网站内完成一个流程。而对于网页环境变化比较大的,更加开放的任务,Jev 智能不足,无法单独完成任务。每步决策仍需要通用 Agent。关键在于问题是否固定、答案能否从当前输入直接判断。

在 Jev 官方的演示中,打开评估、展开注释、滚动报告等重复操作,使用 Jev 后观察到约 5–10 倍的提速。这只是特定流程中才能实现。


在我们内部的实验中,对比 Jev+K3 和 K3 在多种 browser use 中的表现

  • 在 165 张浏览器截图的离线测试中,Jev 判断页面状态的准确率为95.2%,与 Kimi K3 持平,中位延迟为0.76 秒,对比 K3 的 8.54 秒。

  • 在给定明确的点击目标、元素列表和截图后,Jev 在 36 道定位题中答对35 道,K3 答对 36 道。这些结果支持它做页面状态识别和目标定位。

但单步判断准,不等于长程任务可行。

在 10 个 BU Bench 任务中,我们让 Jev 优先决策,但 Jev 判断置信度较低时交给 K3,最终 118 步里只有 2 步由 Jev 决定,没有减少 K3 调用。后续加入页面状态提示、尝试让 K3 规划后由 Jev 点击,也没看到可靠收益;其中规划方案未有效触发,Jev 实际执行了 0 次点击。样本较小,不能据此断言 Jev 无效,但也不能把局部提速推广成完整任务的提速。

所以,目前我们会把 Jev 用在经过验证的具体环节。它能加速一部分浏览器操作,但现有实测还不足以支持它替代通用 Agent 完成开放式任务。

05The Bitter Lesson of Browser Use

Rich Sutton 在 2019 年写下著名的 The Bitter Lesson。

他回顾长期 AI 研究后指出,研究者经常试图把人类知识编码进系统。这些方法可以在一段时间内有效,但更能利用计算增长、依靠搜索和学习扩展的通用方法,往往最终取得优势。

Browser Use 的经历,正是这样一个过程

一开始,我们给模型提供很多工具。

企图让他像人类一样,让模型通过「看网页 → 模型决定下一步 → 执行操作 → 再看网页」的循环,来完成 Browser Use 的任务。在这个过程里,有人优化了模型,有人优化 Harness,有人提供新的工具...

但我们始终找不到那个临界点,那个 Agent 进行浏览器操作比人还快的临界点。模型小了,智能不够。模型大了。速度太慢。不同的模型在不同的 harness 下的表现又不同

但当模型能力提升以后,几乎一夜之间颠覆了我们给 Browser Use 搭建的脚手架。

有没有可能,模型根本就不需要这些脚手架,提供详细的工具反而可能限制了模型的发挥?

在 Coding Agent 这个时代,模型最擅长的是 Coding。

而当有人把所有的浏览器操作都抽象成了一个代码问题的时候,临界点反而出现了。

通过 Coding,给它代码执行能力,它可以组织循环和条件;给它持续状态,它可以保存中间结果;给它底层接口,它可以自己处理框架没有预见的 edge case;给它修改工具的能力,它甚至能补上下一个缺失的函数。

大家的方案,最终都殊途同归,只不过。Tabbit 在这条路上选择 Playwright,Browser Use 更偏向直接使用 CDP。

这就是 Browser Use 的 The Bitter Lesson

06One More Things?WebMCP

如果故事只停在 Coding Agent,还少了一块。

无论 GUI、JavaScript、Playwright 还是 CDP,它们主要都在解决一个方向的问题:Agent 怎样进入一个已有网页,并理解、操作它。

WebMCP 规范则提供了另一个方向。

网站可以通过 navigator.modelContext,主动声明给 Agent 使用的结构化工具。比如,一个电商网站不只展示商品页面,还可以提供查询订单、添加商品这样的业务接口。

这时,Agent 不必完全依靠 DOM 推断网站能力。网站开始直接告诉它:我能为你做什么。

我不认为 WebMCP 会马上替代通用 Browser Use。大量网站不会立刻改造,权限、安全、结果验证也仍然需要完整的机制。

但它很可能成为下一条重要支线:通用代码接口覆盖存量互联网,WebMCP 让愿意参与的网站提供更稳定、更明确的业务动作。

Tabbit 团队也准备在 WebMCP 方向做一些新的尝试。

先说到这里。

结语

一年多前,开始做 Browser Use 时,

我们想的是:怎样把工具设计得更好,让模型学会使用浏览器,提高任务成功率。

这一年多下来,我们设计过很多工具,也推翻过很多方案,积累了很多经验。

但当模型的 Coding 能力提升后,我们原来所积累的工程原始,在几天之间被大语言模型的智能通过另外一条路线击垮。

正如《The Bitter Lesson》里面说的:

回顾 70 年的人工智能研究,最大的教训是:利用计算的通用方法最终最为有效,而且优势显著。 The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin. 我们必须学会这个苦涩的教训:把「我们自以为的人类思维方式」内置到系统中,从长远来看是行不通的。 We have to learn the bitter lesson that building in how we think we think does not work in the long run.

这堂课的苦涩还在于,你必须承认:自己曾经引以为傲的设计,也可能成为下一步的阻碍。

模型还会继续进步。我们也得随时准备,重新审视自己最笃定的判断。

对 Tabbit 来说,这意味着持续测试新的模型,尝试新的接口,把那些真正有效的进展,变成大家每天都能用上的能力。今天是 Coding Agent,下一步可能有 WebMCP,也可能有我们还没想到的方式。

Tabbit 会一直探索 Browser Use 的 SOTA 方向,你把省下来的时间,留给更值得做的事。

如果你想看看这条路已经走到了哪里,欢迎来试试 Tabbit。

如果你想实际体验这条路线,可以在常用 Agent 里输入 /tabbit,交给它一个真实的浏览器任务。

谨以此文

致敬为 Tabbit Browser Use 风险过探索和努力的「宇航员」

致敬 The Bitter Lesson 的作者 理查德·萨顿

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
演员童瑶发文告别

演员童瑶发文告别

背包旅行
2026-10-16 11:55:16
炸裂!黄仁勋女儿被爆大瓜

炸裂!黄仁勋女儿被爆大瓜

互联网品牌官
2026-11-20 10:48:24
他是原国家副主席之子,与荣毅仁共创中信,54岁时任中信董事长

他是原国家副主席之子,与荣毅仁共创中信,54岁时任中信董事长

史不语
2026-11-19 12:20:04
为中期选举砸巨资表达悔意之后,马斯克试图与MAGA阵营切割

为中期选举砸巨资表达悔意之后,马斯克试图与MAGA阵营切割

界面新闻
2026-11-20 15:52:32
【CBA俱乐部杯】同曦全华班不敌NBL球队合肥狂风,小组赛遭遇两连败!

【CBA俱乐部杯】同曦全华班不敌NBL球队合肥狂风,小组赛遭遇两连败!

体坛周报
2026-11-20 18:23:20
现在的数学教材编的好像生怕孩子们能学会!

现在的数学教材编的好像生怕孩子们能学会!

李老师讲最真教育
2026-11-19 21:27:56
二胎大局已定?明后年,拥有2个以上孩子家庭的人,坚定4不做!

二胎大局已定?明后年,拥有2个以上孩子家庭的人,坚定4不做!

云景侃记
2026-11-19 10:07:21
2025辽宁死亡第一,这个不敢造谣,任何人上网都能查

2025辽宁死亡第一,这个不敢造谣,任何人上网都能查

北京作家编剧肥猪满圈
2026-11-18 17:23:20
马科斯胆子大了!竟然敢反驳特朗普?菲政府:没和美国签任何协议

马科斯胆子大了!竟然敢反驳特朗普?菲政府:没和美国签任何协议

沧海一粟1155
2026-11-20 19:06:22
断层第一!梅西霸榜美职联薪资,莱万、格子空降二三,北美联赛真成巨星养老池?

断层第一!梅西霸榜美职联薪资,莱万、格子空降二三,北美联赛真成巨星养老池?

友谊第一
2026-11-20 12:19:57
12胜4负却被建议拆家!全联盟都开始对火箭侧目而视了!谁也没想到,输给热火第二天,竟然被公开建议去挖角约基奇,申京这22.8分算什么?

12胜4负却被建议拆家!全联盟都开始对火箭侧目而视了!谁也没想到,输给热火第二天,竟然被公开建议去挖角约基奇,申京这22.8分算什么?

锐评利物浦
2026-11-20 17:21:53
三打刻赤,为何铁路桥难以摧垮?

三打刻赤,为何铁路桥难以摧垮?

书生论剑
2026-11-20 07:05:00
又轰下22+11+10!这样下去,威少的NBA纪录不保了

又轰下22+11+10!这样下去,威少的NBA纪录不保了

豆哥记录
2026-10-13 16:08:16
极目深度丨一个被无辜烧伤女人的“浴火重生”:姐姐割皮相救,政府垫付百万元医疗费用,不知该向谁索赔

极目深度丨一个被无辜烧伤女人的“浴火重生”:姐姐割皮相救,政府垫付百万元医疗费用,不知该向谁索赔

极目新闻
2026-11-20 07:45:20
iPhone Duo铰链卡死被拒保!博主直接给库克发邮件:苹果终于松口

iPhone Duo铰链卡死被拒保!博主直接给库克发邮件:苹果终于松口

快科技
2026-11-18 07:43:05
三外援掀翻三名现国手!WCBA 爆冷背后,藏着中国女篮最真实的处境

三外援掀翻三名现国手!WCBA 爆冷背后,藏着中国女篮最真实的处境

林子说事
2026-11-20 08:42:51
一首《慌啥子嘛》把我听吐了......

一首《慌啥子嘛》把我听吐了......

细雨中的呼喊
2026-11-17 18:21:32
别人问你退休金,记住一条铁律:先别报数,先说这 1 句

别人问你退休金,记住一条铁律:先别报数,先说这 1 句

普陀动物世界
2026-11-18 05:34:36
一文读懂美俄元首访华差距:专机是面子,运输机搞后勤才是里子

一文读懂美俄元首访华差距:专机是面子,运输机搞后勤才是里子

装甲铲史官
2026-11-17 10:24:38
76,岁盛海琳现状:16,岁双胞胎女儿接近,1,米,7,很漂亮,粉丝将破百万

76,岁盛海琳现状:16,岁双胞胎女儿接近,1,米,7,很漂亮,粉丝将破百万

春之寞陌
2026-11-19 18:42:02
2026-11-20 20:03:00
FounderPark incentive-icons
FounderPark
关注AI创业,专注和创业者聊真问题
1331文章数 163关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
教育
数码
本地
公开课

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版