网易首页 > 网易号 > 正文 申请入驻

看1100万小时录像学会操作电脑,四人团队打造通用计算机行为模型

0
分享至

2026 年 2 月 23 日,一家名为 Standard Intelligence 的旧金山初创公司发布了 FDM-1(Forward Dynamics Model,前向动力学模型),并称其为“首个完全通用的计算机行为模型”。

这个模型在一个包含 1,100 万小时屏幕录制视频的数据集上进行训练,能够以每秒 30 帧的速率直接处理视频流,在 CAD 建模、网站安全测试甚至真实世界的自动驾驶场景中展示出令人意外的泛化能力。

当前主流的计算机使用代理(computer-use agent)走的是另一条路线。Anthropic 在 2024 年 10 月推出了 Claude 的 Computer Use 功能,让 AI 通过截屏、识别界面元素、模拟点击和键入来操作计算机,到 2026 年 2 月 Claude Sonnet 4.6 在 OSWorld 基准上已达到 72.5% 的得分。

OpenAI 在 2025 年 1 月发布了名为 Operator 的 Computer Using Agent(CUA,计算机使用代理),基于 GPT-4o 的视觉能力加上强化学习实现网页操控。Google DeepMind 也有 Project Mariner 和 Gemini 2.5 Computer Use 在布局同一赛道。

这三家巨头的做法有一个共同特征:都是在已有的视觉语言模型(VLM,Vision-Language Model)基础上叠加工具调用能力,依赖截屏分析和像素级定位来理解界面,本质上仍然是“看图说话”的思路。

Standard Intelligence 认为,这条路走不远。

他们的核心论点是:要造出真正通用的计算机操作智能体,需要的不是在截屏上做分类和推理,而是直接从大规模视频中学习人类操作计算机的行为模式。就像 GPT-3 需要互联网规模的文本语料库才能涌现出语言能力,通用的计算机行为模型需要互联网规模的视频语料库。

目前最大的公开计算机操作数据集还不到 20 小时的 30 FPS 视频,而互联网上累积了数以百万计小时的剪辑制作、编程直播、游戏实况和各类软件操作录像,这些数据从未被系统性地利用过。FDM-1 正是瞄准这个缺口。

Standard Intelligence 的路线,更接近 2022 年 OpenAI 发布的 VPT(Video PreTraining,视频预训练)方法。VPT 的核心思路是:互联网上有海量人类玩 Minecraft 的游戏录像,但这些视频只记录了画面,没有标注每一帧对应的键盘鼠标操作。

OpenAI 当时的解决办法是,先花钱请承包商标注少量带操作标签的数据,用这些数据训练一个 IDM(Inverse Dynamics Model,逆向动力学模型)。IDM 能从前后帧的变化中反推出中间发生了什么操作——比如屏幕上多出来一个字母“K”,那大概率就是按下了 K 键。然后用训练好的 IDM 去给约 7 万小时的 YouTube 游戏视频自动打上操作标签,再用这些带标签的数据做行为克隆训练。

VPT 最终甚至学会了合成钻石镐这种需要连续 24,000 步操作、人类熟手也要花 20 分钟以上的任务。这在当时是一项突破,但它有两个显著局限:一是只适用于 Minecraft 这个特定环境,二是上下文窗口极短,只有大约六秒。真正的计算机工作,比如 CAD 设计、金融交易、文档编辑,动辄需要数分钟到数小时的连贯操作上下文。六秒远远不够。

Standard Intelligence 的 FDM-1 试图在两个维度上同时突破:数据规模和上下文长度。

在数据规模上,他们先是在 4 万小时的标注员录屏数据上训练了一个 IDM,然后用这个 IDM 对 1,100 万小时的互联网视频语料库进行自动标注。IDM 的工作原理比较直观:屏幕上突然出现了一个字母“K”,那大概率是有人按了 K 键;光标从屏幕左侧移动到了右侧,那一定发生了相应方向和距离的鼠标位移。通过观察前后帧的变化来反推操作动作,这在技术上是可行的,虽然存在噪声和歧义。

他们在 IDM 的架构选择上做了一个有意思的决策:采用了掩码扩散(masked diffusion)架构。原因在于,给视频标注动作这件事天然是非因果(non-causal)的。比如你看到有人按了 Cmd+C,单看这一帧是无法确认的,你得看到后面出现了粘贴的内容才能确认之前确实发生了复制操作。掩码扩散模型可以同时参照所有帧来推断每个时间步的动作,先标注高置信度的简单动作,再把计算资源集中在模糊的难例上。

按他们的说法,这种方法比纯因果模型过拟合更慢,数据效率更高,且 IDM 标注数据训练出的模型在鼠标移动和界面操作等任务上甚至超过了人工标注数据的效果。

在上下文长度上,突破来自他们自研的视频编码器。现有 VLM 处理屏幕录制视频的方式极度浪费 token:一分钟的 30 FPS 视频就要消耗大约 100 万个 token。这意味着在 200k token 的上下文窗口里,GPT 大约只能装下 240 帧,Gemini 约 775 帧,Claude 约 162 帧——连几秒钟的视频都看不完。

Standard Intelligence 的视频编码器声称能把近两小时(约 36,000 帧)的 30 FPS 视频压缩进同样的 token 预算,比此前最优方案高效 50 倍,比 OpenAI 的编码器高效 100 倍(需要注意的是,博客中提到的 36,000 帧/200k token 是“屏幕录制”场景下的数字,而用来对比的 GPT、Gemini、Claude 的帧/token 比是通用视觉接口的数字。

两者的任务和优化目标不同,直接放在同一张图表里对比有些不完全对等。不过,即使打个折扣,这个压缩能力也是相当可观的)。

他们在 200k token 上下文中能装入约 20 分钟视频,1M token 中则能装入约一小时 40 分钟。这个压缩比是通过在屏幕录制数据上训练掩码压缩目标来实现的。

他们观察到,屏幕录制与自然视频有本质不同:信息密度的波动剧烈。鼠标划过空白桌面时几乎没有信息量,而滚动浏览密集文本时信息量极大。固定大小的嵌入空间必然在语义细节和压缩比之间取舍。他们的编码器在一个文本转录基准测试上,相比标准 ViT(Vision Transformer,视觉变换器)收敛速度快约 100 倍。

有了大规模的 IDM 标注数据和高效的视频编码器,他们就可以训练 FDM 本身了。FDM 是一个标准的自回归模型,接收此前的视频帧和动作序列,预测下一个动作 token。输出空间由键盘按键和鼠标移动增量组成。

由于鼠标每帧可以移动任意数量的像素,直接离散化会导致状态空间过于庞大。因此他们将鼠标位移分解为 X 和 Y 分量,用屏幕宽高进行归一化,然后使用指数分箱(exponential binning)将其映射到 49 个指数尺寸递增的箱中。小而频繁的移动分入细粒度箱,大而稀少的移动分入粗粒度箱。同时,每个鼠标移动 token 还附带预测下一个点击位置,帮助生成更精确的轨迹。

与 VLM 路线形成对比的是,FDM 完全不使用链式思维推理、字节对编码或工具调用。它直接在视频和动作 token 上运作,这使得推理延迟很低,也使模型能够处理滚动、3D 建模、游戏操控等 VLM 框架难以建模的连续性任务。

评估基础设施方面,团队建了一套可运行 8 万台分叉虚拟机的系统,每小时能跑超过 100 万次 rollout。每台 VM 是一个最小化的 Ubuntu 桌面环境,配 1 个 vCPU 和 8 GB 内存;一块 H100 GPU 能同时控制 42 台。分叉机制允许他们对操作系统状态做完整内存快照并复制到新的 VM 上,从而在同一个起始状态上并行跑数千次评估。

这基本上是在把测试时计算(test-time compute)的思路用到了行为模型评估上。他们还把 GPU 和 VM 放在同一云区域、使用低延迟 VNC 配置和自定义 Rust 输入绑定,把从屏幕截取到动作执行的往返延迟压缩到 11 毫秒。

他们公布的初步评测结果显示,IDM 标注数据在鼠标操作、目标点击、符号记忆和 UI 操控等方面的表现已经超过了人工标注的承包商数据。不过在打字和语言理解任务上,IDM 数据上的进步速度慢于承包商数据,团队认为这是 IDM 标注噪声造成的,未来计划混合使用两种数据。

在自动驾驶的微调实验中,FDM-1 在不到 1 小时的驾驶数据上微调后,就能用方向键控制汽车在旧金山绕街区转弯,起始准确率为 50%(在“无操作/左转/右转”三选一中),明显高于仅有视频编码器而没有互联网视频预训练的基线模型。

关于这支团队。Standard Intelligence 于 2024 年 3 月在旧金山注册成立,自我定位为“对齐的 AGI 实验室”。研究团队的核心作者是 Neel Redkar、Yudhister Kumar、Devansh Pandey 和 Galen Mead。Neel Redkar 来自 UCLA,曾在高中时期就凭借用于碳捕获的金属有机框架神经网络获得 ISEF 大奖,在 Notion 的 AI 团队实习过,2023 年底还在 NeurIPS 上展示过文本与材料生成的跨模态研究。

Yudhister Kumar 的个人网站显示他曾参与过 MATS(ML Alignment Theory Scholars,机器学习对齐理论学者)5.0 项目,研究过“预言机在合作 AI 中的应用”以及 Ramsey 理论中的非标准方法。这是一个背景相当年轻但研究嗅觉敏锐的团队。

在 FDM-1 之前,Standard Intelligence 已经有过两个引起关注的项目。一个是 2024 年中在旧金山市中心建造的 30 PB 存储集群,专门用来存放 9,000 万小时的视频数据。他们在博客中算过一笔账:如果用 AWS 存储,每年要花 1,200 万美元;通过租用旧金山的托管机房,包含折旧在内的成本降到了每年约 35.4 万美元,低了大约 40 倍。

另一个是 2024 年 11 月开源的 hertz-dev,一个 85 亿参数的全双工音频基础模型,在单张 RTX 4090 上实现了约 120 毫秒的实际对话延迟。这两个项目分别对应了 FDM-1 所需要的两个关键能力:大规模数据基础设施和跨模态学习。

回到此次推出的 FDM-1,其最大的价值或在于提出了一条与当前行业主流截然不同的技术路径。Anthropic、OpenAI、Google 的计算机操控代理本质上是“大脑外接手臂”,用已经训练好的强大语言/视觉推理模型去截图、识别 UI 元素、再生成点击指令。

这种方法的优点是可以利用现有模型的通用推理能力,缺点是操作频率低(每步都要截图-推理-动作),无法处理需要高帧率连续控制的任务,且受限于截屏分辨率下的 UI 理解。

FDM-1 则更接近端到端的行为克隆路线:直接从视频到动作,不经过语言中介。这让它天然擅长连续控制任务(比如 3D 建模中的连续拖拽、滚轮操作),但也意味着它可能缺乏 VLM 方案所拥有的抽象推理和自然语言理解能力。

目前,FDM-1 现在还远不是一个可用的产品。它没有指令跟随能力,所有演示都是模型自主探索或执行预设行为,没有任何自然语言驱动的展示。你没法用中文或英文告诉它“请打开浏览器搜索某个关键词”。

它也没有在任何公开标准化基准(如 OSWorld 或 CUB)上报告结果,所有评测都基于内部任务套件,缺乏与 Anthropic、OpenAI、Google 等主流方案的直接可比性。不使用任何语言模型能力迁移,意味着 FDM-1 可能在 CAD 建模、游戏操控、连续滚动浏览这些 VLM 完全做不了的任务上有独特优势,但也意味着产品化落地时需要解决指令理解、任务规划等一系列问题。

未来,FDM-1 代表的路线和 VLM 代理路线最终可能会趋于融合。一个能在 30 FPS 下连续操控 3D 建模软件的模型,如果加上语言条件化(language conditioning)和高级规划模块,有机会兼得两种路线的优点。

这个判断是不是成立暂且不论。但可以更加明确的是:在计算机行为建模这个赛道上,数据规模和上下文长度的重要性被严重低估了,而 Standard Intelligence 可能是第一个认真把这两个要素推向极致的团队。至于这条路最终能走多远,还需要更多定量验证、更多场景泛化、以及与 VLM 路线在真实生产任务上的正面比较。

参考资料:

1.https://si.inc/posts/fdm1/

运营/排版:何晨龙

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
上海一女子考研被博士丈夫家暴,忍无可忍报警,才知丈夫真实身份

上海一女子考研被博士丈夫家暴,忍无可忍报警,才知丈夫真实身份

清茶浅谈
2025-03-30 00:29:00
法国籍女子在韩商场叫嚣:全世界都讨厌中国人!中国女子当场出手

法国籍女子在韩商场叫嚣:全世界都讨厌中国人!中国女子当场出手

安梦入天下
2026-09-21 12:40:03
董路:U17国足用6后卫死守!把西班牙球员心态搞乱,有机会拿1分

董路:U17国足用6后卫死守!把西班牙球员心态搞乱,有机会拿1分

念洲
2026-11-20 10:24:46
波切蒂诺首训遭偷拍!曼联首发阵容提前曝光 B费被拿下

波切蒂诺首训遭偷拍!曼联首发阵容提前曝光 B费被拿下

球事百科吖
2026-11-20 06:05:03
特斯拉Model Y再遭当头一棒!连续两年可靠性排名垫底:悬架故障率惊人

特斯拉Model Y再遭当头一棒!连续两年可靠性排名垫底:悬架故障率惊人

快科技
2026-11-20 10:01:47
2013年,金正哲联手张成泽发动朝鲜兵变,因一细节败露,双遭反杀

2013年,金正哲联手张成泽发动朝鲜兵变,因一细节败露,双遭反杀

阿胡
2025-03-11 13:28:03
两桶油急的是:油价他们说了不算,想降价不能降,销售量大幅减少

两桶油急的是:油价他们说了不算,想降价不能降,销售量大幅减少

侃故事的阿庆
2026-11-18 06:41:18
大反转!邝港智方质疑邝球杀蔡天凤,提供现场细节,邝球暴怒回应

大反转!邝港智方质疑邝球杀蔡天凤,提供现场细节,邝球暴怒回应

青梅侃史啊
2026-11-20 07:18:26
美国6天连环宕机,关键系统为何在AI时代“一改就崩”?

美国6天连环宕机,关键系统为何在AI时代“一改就崩”?

澎湃新闻
2026-11-20 07:10:40
冰蓝连体瑜伽服|轻松勾勒熟女丰腴体态,自带诱人氛围感

冰蓝连体瑜伽服|轻松勾勒熟女丰腴体态,自带诱人氛围感

只要高兴就好
2026-11-14 06:04:50
孙怡说李小冉“你这个年纪想找头婚的不容易”,李小冉笑称“这怎么就不能短剧照进现实呢?霸道总裁爱上我”

孙怡说李小冉“你这个年纪想找头婚的不容易”,李小冉笑称“这怎么就不能短剧照进现实呢?霸道总裁爱上我”

韩小娱
2026-10-23 20:48:57
特朗普表示不会在新年前“仓促”决定对伊行动

特朗普表示不会在新年前“仓促”决定对伊行动

新华社
2026-11-20 05:00:05
哈里梅根带娃到游乐场享家庭时光,却有几十名记者随行,坚称无意抢风头

哈里梅根带娃到游乐场享家庭时光,却有几十名记者随行,坚称无意抢风头

译言
2026-11-20 08:03:37
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
德州即将成为庇护州,多个城市宣布与ICE停止合作

德州即将成为庇护州,多个城市宣布与ICE停止合作

大洛杉矶LA
2026-11-20 06:34:43
杯身近半米、吸管超一米的超长奶茶在成都走红,工作人员:实际容量和常规大杯奶茶相近;记者实探

杯身近半米、吸管超一米的超长奶茶在成都走红,工作人员:实际容量和常规大杯奶茶相近;记者实探

扬子晚报
2026-11-20 07:23:11
毛主席怒批田家英:你不想干就打报告,我再找人!田喝闷酒发牢骚

毛主席怒批田家英:你不想干就打报告,我再找人!田喝闷酒发牢骚

大运河时空
2026-11-19 10:15:05
各国卖给咱们的油价,伊朗每吨4700,巴西5080,美国5200,俄罗斯4800,伊拉克4900,加拿大5150,利比亚4880,墨西哥4980

各国卖给咱们的油价,伊朗每吨4700,巴西5080,美国5200,俄罗斯4800,伊拉克4900,加拿大5150,利比亚4880,墨西哥4980

回京历史梦
2026-11-07 09:11:06
“四川一奔驰女司机借300元加油后失联”最新进展:警方介入后已全额还款称“不好意思”

“四川一奔驰女司机借300元加油后失联”最新进展:警方介入后已全额还款称“不好意思”

扬子晚报
2026-11-19 15:39:10
又又又黑烟滚滚!乌军远程无人机再斩俄军油料命脉

又又又黑烟滚滚!乌军远程无人机再斩俄军油料命脉

今观天下
2026-11-20 09:20:01
2026-11-20 10:56:49
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17507文章数 515382关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

手机
亲子
数码
公开课
军事航空

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

亲子要闻

宝宝气人但是聪明的4个行为

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版