如果你正在开发能自主浏览网页的AI Agent,大概率已经撞上过同一堵墙:Token税。
现在的标准流程是这样:Agent需要网页信息,开发者用HTTP抓取DOM,转成Markdown,整页塞进大模型的上下文窗口。结果呢?你付着Anthropic或OpenAI的 premium 价格,处理5000行标签汤、内联样式和追踪脚本,只为找到一个价格标签或按钮ID。
![]()
这还没算完。这种概率式方法带来巨大延迟,遇到现代单页应用(SPA)的空初始DOM,或者Datadome这类反爬虫层,几乎必然崩溃。
![]()
我们意识到,自主网页需要确定性协议,而不是更好的爬虫。于是做了Web Speed——一个确定性适配层,能把Agent的Token成本砍掉70-90%。
空DOM与客户端渲染
标准爬虫在React/Vue SPA上失效,因为初始HTML是空的。Web Speed不只是抓取,而是"补水"(hydrate)。
底层引擎启动本地Playwright驱动的浏览器。调用interpret_page(js=true)或evaluate()时,引擎会等待应用挂载完成。通过wait_for_element、wait_for_url等状态感知工具,Agent暂停执行直到客户端路由加载完毕。
语义蒸馏:DOM转JSON
页面完全补水后,我们不把原始DOM丢给模型。映射层充当语义过滤器,自动剥离
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.