网易首页 > 网易号 > 正文 申请入驻

每个任务一台微型虚拟机,AI评测为何要这么贵?

0
分享至

跑一次AI编程智能体的评测,意味着让它装包、改文件、敲命令,一套基准测试要重复上千次。Docker的工程师把这形容为"大规模运行不可信的、AI写出来的代码"。这句话本身就说明了问题:你放出去的不是一段脚本,是一个会自己动手的实习生。


Harbor是开源的智能体评测框架,负责编排——跑任务、收分数、记日志,支持Terminal-Bench这类基准。它缺的是一套既隔离又一致的执行环境。Docker Sandboxes补上的正是这一块:每个评测任务跑在自己的微型虚拟机里,有独立内核,智能体的动作被关在虚拟机内部,碰不到宿主机,也碰不到别的任务。

为什么非要隔离到这个程度?因为评测里有个绕不开的坑,Docker工程师称之为"奖励黑客"——智能体不是把题做对,而是去改测试文件,或者覆盖掉记录分数的那个文件,照样拿到及格分。网络限制能堵掉一条作弊路径,但官方并没有声称能防住沙箱内部的这类操作,比如智能体去改它有权写入的测试文件。

一致性是另一半。在Docker Cloud Sandboxes里,网络策略可以配置:任务在准备阶段拉依赖,智能体开始干活时再收紧网络访问。这样每个智能体都在同样的网络条件下被评测,正好对应结果不可复现的一个常见来源。Docker Compose也支持,Harbor能在单个云沙箱里跑多容器任务,服务和边车共享同一台微型虚拟机。

规模上,Docker给出的具体数字只有一个:在Cloud Sandboxes上测试过64个并发任务。更高的上限可以通过Docker的联系渠道申请。至于启动开销、单任务成本、评测分数的方差,这次发布没有给出基准数据——对延迟和成本敏感的团队,得自己去测。

现在能用的是Docker Sandboxes的nightly版本,稳定版定在10月23日。Harbor通过sbx扩展安装,nightly构建锁定在版本0.24.1.dev202610150414。云端运行需要开通Cloud访问权限的Docker账号,还需要一个带Cloud Sandboxes权限的个人访问令牌,Harbor从SBX_DOCKER_USERNAME和SBX_DOCKER_PAT两个环境变量里读取。跑的时候用-e sbx选沙箱环境,例如harbor run -t hello-world/hello-world -a oracle -e sbx。

本地路径是免费的,云端扩容则取决于Docker的Cloud Sandboxes服务。本地运行先执行sbx login走Docker Sandboxes命令行,再在Harbor命令后加--ek target=local。不过本地集成目前只支持公开网络和无网络两种模式,受机器现有沙箱策略约束。前面说的那套细粒度网络策略只挂在Cloud Sandboxes上,需要这种控制力的团队,得按云端方案来规划。

Harbor这边的沙箱后端名单已经不短,包括Daytona、Modal、E2B、Runloop、Tensorlake、LangSmith、Blaxel、Novita Sandbox、EC2和Beam,细节在其GitHub仓库。Docker之前最近的一个是LangSmith,装langsmith扩展就能在LangSmith生产沙箱里跑评测,走的是和Daytona、E2B、Modal同一套接口。Harbor的云部署文档把Daytona列为最佳选择,理由是它支持用docker-compose.yaml做多容器部署,而Modal、E2B、Runloop不具备这个能力。

Docker把Sandboxes铺到别的智能体平台上的动作也在继续。NanoCo和Docker合作后,一条命令就能把基于爪手的智能体平台NanoClaw部署进Docker的微型虚拟机沙箱。2026年7月,GitHub Agentic Workflows把Docker Sandboxes列为支持的智能体运行时,随gh-aw 0.82.9版本发布。Docker的说明里提到,沙箱有自己的Docker守护进程,智能体因此能跑基于Testcontainers的集成测试,不必挂载宿主机的Docker套接字。

这次集成建立在9月24日Cloud Sandboxes发布的基础上,那次发布把本地沙箱隔离延伸到了Docker托管的云基础设施,笔记本关机也不影响智能体工作流继续跑。第三方对那次发布的报道提到,默认会话时长一小时、最长24小时,暂停的沙箱不计计算费用;同场还推出了打包成OCI镜像的Kits,Docker已承诺把Kits规范提交给CNCF。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
友情版《再见爱人》首播,许飞厉娜差点打起来,看得我脑瓜子嗡嗡的

友情版《再见爱人》首播,许飞厉娜差点打起来,看得我脑瓜子嗡嗡的

八卦南风
2026-10-22 17:20:01
恭喜!赖亚文新帮手亮相,排管中心副主任增加一人

恭喜!赖亚文新帮手亮相,排管中心副主任增加一人

跑者排球视角
2026-10-22 17:35:11
欧冠小组赛/联赛阶段主场不败场次排行:拜仁40场居首

欧冠小组赛/联赛阶段主场不败场次排行:拜仁40场居首

懂球帝
2026-10-23 01:00:16
升降级压迫感!CBA排名:北京3连胜第1 广东艰难首胜山东暂居倒数

升降级压迫感!CBA排名:北京3连胜第1 广东艰难首胜山东暂居倒数

狼叔评论
2026-10-23 00:08:27
连续投喂大量白糖30天,再断供!国外网红扮“蚂蚁天神”整蛊野生蚁群

连续投喂大量白糖30天,再断供!国外网红扮“蚂蚁天神”整蛊野生蚁群

怪罗
2026-10-21 17:42:19
世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

福建睿平
2026-08-28 07:25:16
签了大合同演都不演了!训练营拒绝对抗,现在想退役,勇士亏麻了

签了大合同演都不演了!训练营拒绝对抗,现在想退役,勇士亏麻了

你的篮球频道
2026-10-22 07:49:31
50岁李小冉刚官宣离婚就忙挣钱!11年婚姻无娃,和前男友两次流产

50岁李小冉刚官宣离婚就忙挣钱!11年婚姻无娃,和前男友两次流产

头号电影院
2026-10-23 00:43:09
看了一半,才发现主角是反派,难怪金庸的这本书冷门到几乎没人看

看了一半,才发现主角是反派,难怪金庸的这本书冷门到几乎没人看

耳东文史
2026-10-21 00:00:58
000333,已回购1.38亿股,将全部注销!多家A股龙头也出手!

000333,已回购1.38亿股,将全部注销!多家A股龙头也出手!

证券时报
2026-10-22 21:23:02
35分10助攻仍输球,杜克校友对决他赢了7分

35分10助攻仍输球,杜克校友对决他赢了7分

温柔且自由
2026-10-23 00:35:31
金泰熙久违出席活动,竟戴了假发套,面对镜头也非常的拘谨不自信

金泰熙久违出席活动,竟戴了假发套,面对镜头也非常的拘谨不自信

老吴教育课堂
2026-10-23 00:16:01
苍井空公开承认南京大屠杀:我在上学时学到过,一切的根源都在于战争

苍井空公开承认南京大屠杀:我在上学时学到过,一切的根源都在于战争

不掉线电波
2026-10-21 12:22:08
沪指失守3700点,江浙地区有私募爆仓?

沪指失守3700点,江浙地区有私募爆仓?

都市快报橙柿互动
2026-10-22 16:44:57
全红婵不对劲,不是她以后不比赛了,而是她今年19岁了,居然开始了自己的精致路线

全红婵不对劲,不是她以后不比赛了,而是她今年19岁了,居然开始了自己的精致路线

LULU生活家
2026-09-30 20:32:43
太扎心了!25岁女子和前男友酒店发生关系,事后仍被拒绝复合,女子不甘心,从此前男友就消失不见了

太扎心了!25岁女子和前男友酒店发生关系,事后仍被拒绝复合,女子不甘心,从此前男友就消失不见了

丫头舫
2026-10-19 20:19:42
不受耿同学打假影响,南开大学陈佺被免职、撤稿后,其团队再发Nature

不受耿同学打假影响,南开大学陈佺被免职、撤稿后,其团队再发Nature

东东趣谈
2026-10-22 15:20:39
知名博主易梦玲称“巴黎出差行李在机场被盗”:登机箱和随身包一转身就没了,相机设备、旧护照全部丢失,后续的工作也耽误了

知名博主易梦玲称“巴黎出差行李在机场被盗”:登机箱和随身包一转身就没了,相机设备、旧护照全部丢失,后续的工作也耽误了

极目新闻
2026-10-21 00:44:51
突然收到山姆召回短信,网友傻眼:已全部吃完;品牌方:立即停止食用

突然收到山姆召回短信,网友傻眼:已全部吃完;品牌方:立即停止食用

扬子晚报
2026-10-22 12:57:39
惊天反转!红利曼防线一夜崩盘,乌军全新战术重创俄军精锐

惊天反转!红利曼防线一夜崩盘,乌军全新战术重创俄军精锐

冷眼看尽世间繁华
2026-10-06 01:09:00
2026-10-23 01:31:00
碳基打工人
碳基打工人
坐标北京,靠咖啡续命,靠小红书下饭的普通人类。
280文章数 89关注度
往期回顾 全部

科技要闻

腾讯云谷歌紧急行动!互联网安全出大事

头条要闻

大火逼近中国 日本道歉只道一半:未对中国有任何表示

头条要闻

大火逼近中国 日本道歉只道一半:未对中国有任何表示

体育要闻

卢卡:伦德伯格,欢迎来到NBA

娱乐要闻

芭莎盛典,张小斐因救场实现口碑暴涨

财经要闻

宁德,跌成了一只红利股?

汽车要闻

搭城市NOA/续航555KM 捷达M6上市售7.98万起

态度原创

游戏
本地
教育
房产
亲子

赛事终章的欢呼声漫过羊城,中国的《荒野乱斗》电竞才刚刚开始"/> 主站 商城 论坛 自运营 登录 注册 简体中文 简体中文 English 赛事...

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

教育要闻

留学毕业回来后,最快能回本的专业!

房产要闻

租金大跳水!荒了6年,海口这个地标商业,开始急了!

亲子要闻

一件“彩色补丁裤子”,让宝妈的手工被全网嫌弃:这都什么时代了

无障碍浏览 进入关怀版