网易首页 > 网易号 > 正文 申请入驻

8GB内存的旧电脑上,他造出66段可验证编程轨迹

0
分享至

大多数编程智能体的训练数据,要么是抓取来的最终代码,要么是模型假装执行命令、自己编出输出的合成会话。两种数据都在教“答案”,没有一种在教“循环”。


一位开发者做了一个小语料库,专门教这个循环,并且逐行做了验证。随后他把它和四个更大的数据集放在一起比较,把输掉的每一行也公开了出来。这篇内容讲的就是数据、方法和那张诚实的对照表。

盒子里装了什么

66段完整执行的会话。智能体从一次真实开源提交里拿到任务单,在真实的 Docker 沙箱里工作,调用真实工具,撞上真实报错,然后恢复。每一次工具输出都按工具产生的原样保存,包括失败的那些。总量超过一百万 token,几乎每个 token 都是一次真实动作或一次真实观察。

三条保证让它可用:

  • 只保留真实执行。退出码、标准错误、耗时、真实堆栈,没有一处是编的。
  • 答案不在现场。工作区历史被清空到一个全新的根提交,智能体没法用 git log 翻出人类修复;测试被锁定,它也不能改测试来作弊。
  • 验证而非声称。只有项目测试通过、产出的 diff 通过与真实人类补丁的相似度门槛,一段会话才会被收录。一个离线校验器可以在你的机器上重新检查全部 66 个文件。

失败按顺序保留,不做过滤。60 次失败的工具调用以及修好它们的重试,都是数据的一部分,因为恢复过程本身就是课程。

那张诚实的表

一行在不同数据集里含义不同,所以要先看单位。他这份数据的一行是一段会话;SWE-smith 和 SWE-Gym 的一行是一个任务;ToolACE 的一行是一段对话;CommitPackFT 的一行是一对编辑,没有过程。

“每万 token 恢复对”是他自创的指标:一次真实报错之后紧跟一次真实纠正动作,按每万 token 计。他给所有人都算了这个数,包括自己。

输在哪里,摊开说

SWE-Gym 在他自己的指标上赢了他,10.72 对 6.48。SWE-smith 在最长的重试链上赢了他,64 对 4。他在规模、仓库数量、已发表的训练证据和污染问题上都处于下风,因为他的金标准补丁来自公开提交,这意味着它是训练素材,而不是干净的基准。

他公开这些,是因为一张每行都赢的表是营销,一张在这些行上认输的表才是测量。如果他把输掉的行藏起来,那些赢的行也不该被相信。

他赢下的是信任层:一个离线校验器、每行一个哈希、每行附带许可证和提交号、带理由的划分标签,以及每 token 最高的真实调用与真实重试密度。正是这些行,让人能去核对其他行。

免费基础设施和一台 i3

没有 GPU 集群,没有付费 API 预算,没有团队。一个人,一台 8GB 内存的 i3,免费额度,以及免费的 Kaggle GPU 用来做训练检查。每一段会话都在这台机器上的真实沙箱里跑完。

他在上面训练了一个小模型来验证。一项协议分数从 43% 升到 80%。其他分数出现回退,原因是他自己的工程问题,所以他重建了语料库,正在重新训练。目前没有干净的胜利,他也不声称有。这句话同样写进了 README。

他设想,同样的方法配上真实算力会怎样:信任那几行依然赢,规模那一行不再算输。

限制,直说

只覆盖 Python,五个库。这一版里只有动作和观察,没有捕获推理过程。体量小。它是预训练混合数据里的一个强组件,不是可以单独拿来训练的语料库。

拿去,然后核对

项目已在 GitHub 和 Kaggle 上线,Hugging Face 数据集页面几天后到位。克隆仓库后运行校验脚本,如果打印出 66/66,你拿到的就是他所发布的版本,逐字节一致。样本以 OpenAI 对话格式提供,并附带其他格式的转换器。

他想要的反馈很直接:拿它去训练,报告数字,包括难看的那些,尤其是难看的那些。如果哪里坏了,带上 episode id 开一个 issue。他说,眼下这份反馈比付费墙更值钱。

数据是 MIT 协议,免费,无需注册。方法是可核查的。输掉的行是公开的。这就是全部卖点。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
郎平接受鲁豫专访,自曝颈椎、髋关节、膝关节全都换了;现在是钓鱼高手,从不“空军”;盛赞在《夺冠》中演郎平的巩俐“演得非常像”

郎平接受鲁豫专访,自曝颈椎、髋关节、膝关节全都换了;现在是钓鱼高手,从不“空军”;盛赞在《夺冠》中演郎平的巩俐“演得非常像”

极目新闻
2026-11-20 19:43:20
俄乌炸桥冲突再升级,相关谈判设想被放弃,普京预告“更沉重打击”

俄乌炸桥冲突再升级,相关谈判设想被放弃,普京预告“更沉重打击”

环球网资讯
2026-11-21 07:06:38
太夸张!A股罕见一幕!还会有新低?

太夸张!A股罕见一幕!还会有新低?

龙行天下虎
2026-11-21 00:00:26
37岁前归化国脚艾克森社媒晒出多张效力中超时期旧照:中国是我生命中非常特别的一个阶段,我一直珍藏着这些故事

37岁前归化国脚艾克森社媒晒出多张效力中超时期旧照:中国是我生命中非常特别的一个阶段,我一直珍藏着这些故事

极目新闻
2026-11-20 09:35:14
刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

刘德华被问到多个流传多年的传闻,他亲口证实“都是真的”

韩小娱
2026-11-19 08:49:36
女生雨天等车时被轿车水花从头浇到脚,雨伞都被冲变形……上海一司机被罚150元!

女生雨天等车时被轿车水花从头浇到脚,雨伞都被冲变形……上海一司机被罚150元!

新民晚报
2026-11-20 19:55:27
悲催!20多年倾尽60万培养的211毕业生遭裁员,河南老父亲发帖控诉,引发轩然大波

悲催!20多年倾尽60万培养的211毕业生遭裁员,河南老父亲发帖控诉,引发轩然大波

火山詩话
2026-11-20 09:53:44
1300公里的前线,10公里外的和平:乌克兰父亲最刺骨的战争真相

1300公里的前线,10公里外的和平:乌克兰父亲最刺骨的战争真相

老马拉车莫少装
2026-10-16 17:34:01
白宫发布特朗普访华视频,中国仪仗队再次出圈,特朗普曾多次大赞“叹为观止”

白宫发布特朗普访华视频,中国仪仗队再次出圈,特朗普曾多次大赞“叹为观止”

极目新闻
2026-11-19 09:25:11
汪祥旺退休四年仍被罢免,光谷那把椅子,坐过的人不止他一个!

汪祥旺退休四年仍被罢免,光谷那把椅子,坐过的人不止他一个!

王姐懒人家常菜
2026-11-21 05:52:24
官媒发文,高调官宣47岁沈腾喜讯,全网恭喜,地位又变了!

官媒发文,高调官宣47岁沈腾喜讯,全网恭喜,地位又变了!

叨唠
2026-11-21 04:53:26
定了!天津这所211大学,即将搬迁!

定了!天津这所211大学,即将搬迁!

天津人
2026-11-21 06:11:54
兴奋剂违规!28岁国羽名将遭禁赛3年 曾获全运会冠军 教练被禁1年半

兴奋剂违规!28岁国羽名将遭禁赛3年 曾获全运会冠军 教练被禁1年半

我爱英超
2026-11-20 19:31:46
油价从6块冲到9块再回8块,账单降了,老百姓的心却回不去了

油价从6块冲到9块再回8块,账单降了,老百姓的心却回不去了

沙雕小琳琳
2026-11-21 00:57:39
扫地出门!曼联“标王”或火速转投尤文!2亿镑强援有望空降红魔

扫地出门!曼联“标王”或火速转投尤文!2亿镑强援有望空降红魔

头狼追球
2026-11-20 13:01:14
局势彻底变天了!54年来头一遭,打破美国总统常规,特朗普在深圳究竟看到了什么?引发舆论热议!

局势彻底变天了!54年来头一遭,打破美国总统常规,特朗普在深圳究竟看到了什么?引发舆论热议!

林杰论事
2026-11-20 12:42:26
广东两孩男子晒42岁妻子例假到访消息 全网集体共情

广东两孩男子晒42岁妻子例假到访消息 全网集体共情

奇思妙想生活家
2026-11-21 02:40:38
中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

迷彩人生
2026-11-13 10:25:30
中方:强烈不满,坚决反对!若美方执意妄为,中方将采取反制措施

中方:强烈不满,坚决反对!若美方执意妄为,中方将采取反制措施

经纬戎韬
2026-11-20 00:09:28
现货黄金直线跳水,跌破760元!深圳水贝金店老板直呼“补早了”:870元至880元时补过一批货,没想到跌得更快

现货黄金直线跳水,跌破760元!深圳水贝金店老板直呼“补早了”:870元至880元时补过一批货,没想到跌得更快

封面新闻
2026-11-20 14:10:14
2026-11-21 09:51:00
码上闲叙
码上闲叙
有态度网友ytd
243文章数 107关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

手机
艺术
家居
亲子
公开课

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版