网易首页 > 网易号 > 正文 申请入驻

108个任务,人类要花1.6小时,AI能做完几个?

0
分享至

一个熟练的电脑用户,完成一项任务平均要花1.6小时。现在把这样的任务交给AI智能体,让它在一个真实的操作系统里从头做到尾——这就是OSWorld 2.0要测的事。

它来自XLANG Lab,是一套专门评测"电脑操作智能体"的基准测试。整套测试包含108个长流程任务,覆盖桌面端和网页端应用,横跨多个专业领域。和原版OSWorld相比,这批任务要长得多,难度也完全是另一个量级。


不是做完就算,而是逐项过关

OSWorld 2.0的评分方式很特别。它不看你最后有没有交差,而是把每个任务拆成一系列加权检查点,平均每个任务约27个检查点。只有当一个任务的所有检查点全部通过,才算真正完成。

这就带来一个直接后果:分数普遍很低,即便是前沿模型也不例外。原因不难理解——任务本身很长,而"全对才算过"的判定标准又极其苛刻,任何一步掉链子,整个任务就归零。

榜单同时给出两种口径:一种是二元准确率,即完整完成的任务占比;另一种是部分得分,即每个任务平均通过了多少比例的检查点。前者严格,后者能看出智能体"做到了一半"还是"几乎没动"。

500步预算下的真实成绩

所有结果都取自OSWorld 2.0的公开榜单,运行在榜单默认的500步智能体步数预算下。这个预算限制很关键——长流程任务天然需要更多操作步骤,500步够不够用,直接决定了智能体能走多远。

数据导出里还保留了每次运行的更多细节,包括推理设置、工具设置、步数预算和预估成本。这些维度放在一起看,才能判断一个高分到底是模型能力强,还是配置堆出来的。

需要说明的是,OSWorld 2.0和原版OSWorld是两套独立的基准,前者更难,不能混为一谈。它测的不是"能不能点对按钮",而是"能不能在真实系统里把一件复杂的事从头办完"。

从1.6小时的人类耗时,到27个检查点的逐项验收,再到500步的操作预算,这套基准把"电脑操作智能体"的门槛摆得明明白白。分数低不是坏消息,它只是说明:离真正能替你干活的AI,还有很长一段路。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
老了肌肉流失怎么办?医生:2样东西必须吃,2件事做得越早越好

老了肌肉流失怎么办?医生:2样东西必须吃,2件事做得越早越好

健康科普365
2026-09-30 11:40:19
10-7!中国男子橄榄球队复仇日本,创造历史,首次杀入亚运会决赛

10-7!中国男子橄榄球队复仇日本,创造历史,首次杀入亚运会决赛

小兰看体育
2026-10-04 00:05:04
消失一年拜登突然出山,一开口就给特朗普定性:你不配当美国总统

消失一年拜登突然出山,一开口就给特朗普定性:你不配当美国总统

墨兰史书
2026-06-30 18:25:03
南加疑似华人家庭出事!男子枪击妻子后仅4小时,携护照、机票和大量现金赶到机场,准备逃离美国前被截获

南加疑似华人家庭出事!男子枪击妻子后仅4小时,携护照、机票和大量现金赶到机场,准备逃离美国前被截获

华人生活网
2026-10-04 05:16:19
国庆当天,人民日报“点名”周深,释放3大强烈信号,地位又变了

国庆当天,人民日报“点名”周深,释放3大强烈信号,地位又变了

仙味少女心
2026-10-03 03:15:05
迪拜航空劫机事件:副驾驶用斧头砍伤机长,休班英国飞行员救飞机

迪拜航空劫机事件:副驾驶用斧头砍伤机长,休班英国飞行员救飞机

心本来就不大
2026-10-03 10:01:45
兰香如故:98%的人没看懂,林绣茹能用和离拿捏住袁家,最重要的不是因为有林家一众撑腰,也不是她自己多会谋算,而是这一点

兰香如故:98%的人没看懂,林绣茹能用和离拿捏住袁家,最重要的不是因为有林家一众撑腰,也不是她自己多会谋算,而是这一点

浅浅四月
2026-10-03 19:16:21
正式退出!孙颖莎发声官宣告别,王楚钦心里明白,曾表态打到40岁

正式退出!孙颖莎发声官宣告别,王楚钦心里明白,曾表态打到40岁

翰飞观事
2026-09-28 16:39:22
孙心然vs高芙对阵已定!CCTV5直播,16岁将直面世界排名TOP4

孙心然vs高芙对阵已定!CCTV5直播,16岁将直面世界排名TOP4

未来展望
2026-10-03 21:52:07
十一假期第3天,社会上就出现4个“反常现象”,风向真的变了!

十一假期第3天,社会上就出现4个“反常现象”,风向真的变了!

铜臭的历史味
2026-10-03 10:00:46
“我们浙江就没有这种校服!”一张虚假江浙沪独生女照片,被拆穿

“我们浙江就没有这种校服!”一张虚假江浙沪独生女照片,被拆穿

牛锅巴小钒
2026-10-04 01:13:01
外交部:中方欢迎普京总统出席APEC深圳峰会

外交部:中方欢迎普京总统出席APEC深圳峰会

界面新闻
2026-10-03 19:50:30
一个永远不会杀青的剧组!横店空了,15万群演在景区找到新活路

一个永远不会杀青的剧组!横店空了,15万群演在景区找到新活路

天天热点见闻
2026-10-03 07:50:29
国庆第一批血亏的生意出现!卷到50元还没人住,年轻人不想当韭菜

国庆第一批血亏的生意出现!卷到50元还没人住,年轻人不想当韭菜

铭记历史呀
2026-10-04 05:23:41
黄仁勋人类在即将进入AI时代之前,电工、水管工和铁工等也将迎来新时代

黄仁勋人类在即将进入AI时代之前,电工、水管工和铁工等也将迎来新时代

西楼知趣杂谈
2026-10-03 21:27:40
油价,突然暴跌

油价,突然暴跌

极目新闻
2026-10-03 19:31:49
签了!签了!5万合同,恭喜杨瀚森,喜提亚洲战友

签了!签了!5万合同,恭喜杨瀚森,喜提亚洲战友

生活新鲜市
2026-10-03 21:15:24
38岁莱万彻底打服足坛,远离五大联赛依旧无人能挡

38岁莱万彻底打服足坛,远离五大联赛依旧无人能挡

看我说体育
2026-10-03 13:49:41
万万没想到!俄选举落下帷幕,拉夫罗夫体面退场,梅德韦杰夫出局

万万没想到!俄选举落下帷幕,拉夫罗夫体面退场,梅德韦杰夫出局

井普独白
2026-10-03 14:30:09
美内政部证实:夏威夷火山国家公园标志性的霍莱海蚀拱门坍塌,坠入太平洋

美内政部证实:夏威夷火山国家公园标志性的霍莱海蚀拱门坍塌,坠入太平洋

环球网资讯
2026-10-03 16:08:17
2026-10-04 06:36:49
野生运营
野生运营
懂点产品,懂点AI,正在努力给平淡日子搞点新花样。
151文章数 94关注度
往期回顾 全部

科技要闻

英伟达盘中创历史新高,市值逼近6万亿美元

头条要闻

28岁香港名媛碎尸案细节:前公公曾任警长其情妇也参与

头条要闻

28岁香港名媛碎尸案细节:前公公曾任警长其情妇也参与

体育要闻

这个讨论了一夏天的问题,马刺有答案了吗

娱乐要闻

马思纯一家爬山祈福!素颜出镜笑容甜

财经要闻

4亿台电视挂墙落灰 为何没人愿意开了?

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

教育
游戏
时尚
亲子
手机

教育要闻

广东一市试点取消中考分流,能减轻升学压力吗?

《符文之境:重燃》定于12月2日上线,所有角色从3级起步并采用全新经济体系

Chemena Kamali写给Chloé的又一封情书

亲子要闻

比不生娃更可怕的事情来了!幼儿园男孩多到反常,性别比严重失衡

手机要闻

华为Mate 90 Pro Max旗舰机首个版本更新内容曝光,实装四卡三待、3D动态照片等功能

无障碍浏览 进入关怀版