网易首页 > 网易号 > 正文 申请入驻

OpenAI 公开 Atlas 架构:为 Agent 重新发明浏览器

0
分享至

今天,OpenAI 公开 Atlas 的核心技术实现,这是一个专门为 Agent 开发的浏览器,让 AI 能够看到完整的界面渲染,而不是需要像人一样,挨个的点击所有元素,才能获得所有信息

这也是 OpenAI 首次在工程领域,进行的官方发布

Atlas 看起来就是个 Chromium 套壳,毕竟...你还能看到 Chrome 应用商店,能装 Chrome 插件


网址输入 atlas://extensions ,进入插件页

Edge、Brave、Arc 也都是这样,看起来都是 Chromium 套壳

但底层架构完全不同
Atlas 把 Chromium 整个搬出去了

传统浏览器里,Chromium 挂了,整个浏览器挂
Chromium 卡了,浏览器界面跟着卡
有用户反馈,在 Sora 这种复杂网页,别的 AI 浏览器会卡住,Atlas 是正常的

Atlas 主应用是独立的 Swift 应用,Chromium 作为独立进程在后台运行,两者通过 IPC 通信
这套架构叫 OWL(OpenAI's Web Layer)


Atlas 的 OWL 结构

按 OpenAI 的说法,这种方式

  • • 启动快:Chromium 在后台慢慢加载,Atlas 界面瞬间显示

  • • 不崩溃:Chromium 挂了,Atlas 不受影响

  • • 开发快:大部分工程师不用编译 Chromium,构建从小时级降到分钟级

  • • Agent 能看清屏幕:强行把所有弹窗合成回主页面

在项目开发上,也能做到足够的解耦,新员工第一天下午就能提交代码

OWL 怎么做的

Atlas 和 Chromium 之间通过 Mojo 通信,这是 Chromium 自己的 IPC 系统

OpenAI 写了自定义的 Swift 绑定,让 Swift 应用能直接调用 Chromium 的接口

这里有几个核心概念:

Session:全局控制 Chromium

Profile:管理用户配置

WebView:控制单个网页的渲染、输入、导航

LayerHost/Client:在 Atlas 和 Chromium 之间交换渲染信息


OWL 工作示意

网页内容怎么显示?

Chromium 渲染好的 layer 通过 CALayerHost 传给 Atlas

Atlas 用 NSView 把这个 layer 嵌进界面

输入事件怎么处理?


event 的处理

Atlas 收到用户输入(鼠标、键盘),翻译成 Chromium 能理解的 WebInputEvent 格式,发给 Chromium

如果网页没处理这个事件,Chromium 会把事件退回来,Atlas 重新合成 NSEvent,给应用的其他部分处理

Agent mode 的特殊处理

这里的思路很牛逼

computer use model 需要一张完整的屏幕截图

问题来了,浏览器里有些元素是独立渲染的

下拉菜单、颜色选择器、日期选择器,这些在 Chromium 里是单独的弹窗 AI 只看主页面,看不到这些弹出元素 OpenAI 的做法:强行把所有弹窗合成回主页面 这些弹窗虽然是独立窗口,但有自己的 RenderWidgetHostView 和 AcceleratedWidget OWL 用跟主页面一样的 delegated rendering 模型,把这些弹窗的 layer 抓出来,按正确的坐标位置合成回主页面 AI 拿到的就是一张完整的截图 渲染方法 还有个细节 Agent 生成的输入事件,直接发给 renderer,不走 browser 层 这样能保持沙箱边界,Agent 不能通过快捷键触发浏览器的特权操作 相关的任务,也进行了隔离 Agent browsing 可以跑在 ephemeral context 里,不共享用户的 Incognito profile 每个 agent session 用独立的 StoragePartition,完全隔离 session 结束,所有 cookies 和站点数据全部丢弃 你可以同时开多个 agent session,每个都在独立的 tab 里,互相隔离 工程效率的改变 Chromium 代码库太大 checkout 要很久,编译要几个小时 OWL 把 Chromium 编译成预构建的 binary,内部分发 大部分做 Atlas 的工程师,只编译 Swift 代码,几分钟完事 OpenAI 有个工程文化:新员工第一天下午就能提交代码 对 Chromium 这种项目,这几乎做不到 但 OWL 做到了 而且因为 UI 层完全重写,对上游 Chromium 的改动很少,升级版本也容易 说两句 传统浏览器是为人设计的,Agent 浏览器要解决的问题不一样 人需要各种交互,进行辅助认知,可以点击菜单然后弹出阅读 AI 则不同,需要在一张图里看到所有元素,需要快速响应 新的浏览器架构,很有必要 原文附上https://openai.com/index/building-chatgpt-atlas/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
不顾央视警告顶风作案,与刘涛传出绯闻的杨烁,究竟是谁给的底气

不顾央视警告顶风作案,与刘涛传出绯闻的杨烁,究竟是谁给的底气

芳芳历史烩
2025-09-24 20:13:19
中国正在上演的诡异经济

中国正在上演的诡异经济

难得君
2025-10-29 19:26:55
全红婵退赛另有隐情!放弃全运单人不是只保伤,国家队在下一盘棋

全红婵退赛另有隐情!放弃全运单人不是只保伤,国家队在下一盘棋

一只番茄鱼
2025-11-02 23:11:44
1982年戴安娜艰难生下威廉,女王第一眼就赞了孙子的耳朵,很幽默

1982年戴安娜艰难生下威廉,女王第一眼就赞了孙子的耳朵,很幽默

讯崽侃天下
2025-11-02 20:16:57
刘强东带章泽天见客户,章泽天穿四万香奈儿外套,刘强东满脸宠溺

刘强东带章泽天见客户,章泽天穿四万香奈儿外套,刘强东满脸宠溺

一只番茄鱼
2025-11-02 21:32:57
乌军将大规模莫斯科,无人机和导弹全面出动!

乌军将大规模莫斯科,无人机和导弹全面出动!

知兵
2025-10-31 21:38:48
ASML CEO:中国正尝试抛弃我们的光刻机,还可能拿稀土卡我们脖子

ASML CEO:中国正尝试抛弃我们的光刻机,还可能拿稀土卡我们脖子

泠泠说史
2025-11-01 15:55:16
中信建投:A股或进入新一轮横盘调整 关注主线和风格切换

中信建投:A股或进入新一轮横盘调整 关注主线和风格切换

财联社
2025-11-02 18:34:17
你见过哪些惊为天人的神操作?网友:我愿称第一个小姐姐为天人

你见过哪些惊为天人的神操作?网友:我愿称第一个小姐姐为天人

带你感受人间冷暖
2025-11-01 00:10:10
趁着不少人还在观望,中国家长迅速出手,不到300万把文京区卷成“新海淀”

趁着不少人还在观望,中国家长迅速出手,不到300万把文京区卷成“新海淀”

掘金日本房产
2025-11-02 18:05:23
历史再次选中了香港,这次关乎国运!

历史再次选中了香港,这次关乎国运!

米筐投资
2025-08-26 07:11:32
刘嘉玲在录制综艺节目的时候走混搭路线,看起来格外的年轻。

刘嘉玲在录制综艺节目的时候走混搭路线,看起来格外的年轻。

小椰的奶奶
2025-11-02 04:29:45
腿控必看!10位巅峰「美腿女艺人」大盘点!

腿控必看!10位巅峰「美腿女艺人」大盘点!

素然追光
2025-11-03 03:14:58
乔欣为什么喜欢展示她漂亮的大脚丫?

乔欣为什么喜欢展示她漂亮的大脚丫?

老吴教育课堂
2025-11-03 04:24:15
牡丹花下死!结婚刚一个月,娶“白月光”的李国庆彻底成为笑话

牡丹花下死!结婚刚一个月,娶“白月光”的李国庆彻底成为笑话

春秋论娱
2025-09-23 07:20:44
2026年中国载人任务公布,1名航天员将在轨1年,为何如此安排?

2026年中国载人任务公布,1名航天员将在轨1年,为何如此安排?

科学黑洞v
2025-11-02 10:04:45
有哪些泼天富贵你没有接住?网友:就差一点我就成富二代了

有哪些泼天富贵你没有接住?网友:就差一点我就成富二代了

解读热点事件
2025-10-31 00:05:07
花掉三亿人民币,打捞一艘800年沉船,打开船舱后,所有人都懵了

花掉三亿人民币,打捞一艘800年沉船,打开船舱后,所有人都懵了

通鉴史智
2025-11-01 07:24:00
毛主席曾留七大预言:当时没人信,如今6个已应验,第7个即将实现

毛主席曾留七大预言:当时没人信,如今6个已应验,第7个即将实现

秀心文雅
2025-09-13 10:25:44
国民党再掀波澜!郑丽文上任真相令人震惊!

国民党再掀波澜!郑丽文上任真相令人震惊!

鲁源写作读书会
2025-11-01 06:00:07
2025-11-03 06:19:00
赛博禅心
赛博禅心
拜AI古佛,修赛博禅心
154文章数 9关注度
往期回顾 全部

科技要闻

10月零跑突破7万辆,小鹏、蔚来超4万辆

头条要闻

马来西亚首富之子买上海大平层 449平米1.17亿元

头条要闻

马来西亚首富之子买上海大平层 449平米1.17亿元

体育要闻

这个日本人,凭啥值3.25亿美元?

娱乐要闻

陈道明被王家卫说他是阴阳同体的极品

财经要闻

段永平捐了1500万元茅台股票!本人回应

汽车要闻

神龙汽车推出“发动机终身质保”政策

态度原创

时尚
亲子
艺术
本地
健康

最近很火的发型,原来这么简单!

亲子要闻

我发现一个带娃永远不生气的理论

艺术要闻

瓦迪斯瓦夫·谢维尼茨基:19世纪波兰杰出的画家

本地新闻

全网围观,到底多少人被这个野人大学生笑疯了

核磁VS肌骨超声,谁更胜一筹?

无障碍浏览 进入关怀版