网易首页 > 网易号 > 正文 申请入驻

修复全对,拉取请求为零:Copilot卡在最后一步

0
分享至

三个测试全部通过,拉取请求列表却是零和零。两件事同时为真,这就是整场实验的全部。


测试输出打印着 3 passed in 0.15s,Open(0)、Closed(0),没有分支,没有提交,没有拉取请求。Copilot 写出了修复,也测过了,却没能完成工作的最后一段——让成果离开聊天窗口、变成一个拉取请求的那一段。作者花了一晚上看它卡住,最后自己从聊天的 Changes 视图里把修复复制出来,亲手验证。

这个 bug 本身很小

dbader/schedule 是一个小型 Python 任务调度器,一个模块、945 行、一个测试文件。Issue #670 由 Gambit-Checkmate 于 10 月 17 日提交:Scheduler.run_all(delay_seconds=2) 会在最后一个任务之后调用 time.sleep(2),哪怕只注册了一个任务。文档字符串说延迟发生在任务之间,代码和自己的文档对不上。

运行前作者核对过,循环只有三行:遍历任务快照、执行任务、sleep。每个任务后都睡,包括最后一个。注册一个任务并把 sleep 打桩后,事件顺序是 ['job0', 'sleep(2)'],本应是 ['job0']。三个任务时,第三个后面也多一次 sleep。问题真实,复现精确,修复很小——这正是选中它的原因。

仓库自带的测试看不见这个 bug:所有 run_all 测试都用默认延迟 0 调用,尾部 sleep 从不触发。坏代码上测试套件照样 40 个通过、41 个跳过。所以作者在运行前自己写了测试,覆盖零个、一个、三个任务,用哈希冻结(8f3dcd75…93b9c606),不让 Copilot 看到。在未修复的代码上,三个用例挂了两个,正好挂在 bug 上。

它做对了快的那部分

设置很简单:仓库的 fork、fork 里镜像的 issue、一个 agent 模式的新 Copilot 聊天,两者都附上。指令只有一句完整的需求:"修复这个聊天附带的 issue,完成后开一个拉取请求。"没有提示,没有行号,没提那个冻结测试。上游仓库一点没动。

有一点必须说清楚:issue 本身已经把答案的形状递给了 Copilot,它提议的修复写着"在每个任务前 sleep,第一个除外,保留现有快照"。所以这场运行检验的是 Copilot 能否正确实现给定修复并完成收尾,而不是它能否发明修复。

Copilot 很快,而且事实证明是对的。第一轮它就写出了修复:枚举快照,第一个任务之外每个任务前 sleep,去掉尾部 sleep。它还写了自己的回归测试 test_run_all_delays_between_jobs,覆盖三个任务的情况。两个文件,+20 −2。它也跑了自己的测试——工作区没装 pytest,就退回标准库运行器,得到"Ran 2 tests in 0.001s — OK"。它同样跑了完整套件和类型检查,但输出始终没渲染出来,页面只有加载占位符,所以那两项说了什么无从得知,作者也不去猜。

然后它停了。不是完成,是停住。

它没做长的那部分

最后一次工具调用之后,第一轮在"Thinking…"里坐了约 27 分钟,作者在第 37 分钟手动停掉。页面弹出横幅:"Copilot finished without creating a pull request. Check the chat for details."

顺带一提,"Create pull request"按钮并不创建拉取请求,它只是把这句话当消息发出去、开启新一轮。第二轮说它会收尾分支、提交这两个文件的修复、推送,然后用拉取请求工具。接着又坐了 16 分钟,一件都没做。页面还四次断开与聊天的连接——"We couldn't reconnect"——每次重连后最新条目都会消失一阵再回来。

几分钟后作者回到同一个聊天再试。第二轮仍卡着,停在 17 分 26 秒。他停掉,发了一句简短催促:提交、推送、开拉取请求。第一次发送把文字弹回输入框;第二次开启的一轮在两分钟内死掉,粉色横幅:"Something went wrong. Please try again."重试失败,再发失败。四次尝试全部卡在发送这一步,离开时消息还躺在输入框里没发出去。聊天不再接收任何消息。

最终检查 fork:拉取请求 Open(0)、Closed(0);分支只有 master 和 release-1.2.2。Copilot 一直在用的 fix/run-all-final-delay 从未推送,任何地方都不存在提交。修复只以未提交改动的形式活在聊天工作区里,连那个视图都在失灵,提示"Changed file information needs refreshing"。

结论有两半

作者从 Changes 视图把完整 diff 逐字复制出来,应用到同一发布版本的新副本上,自己跑测试。套件从 40 通过变成 41 通过,因为 Copilot 自己那个新测试也过了——原有 40 个测试全过,同样 41 个跳过,零回归。diff 只碰 bug,不碰测试,没有改动任何现有测试。按运行前写好的评分标准——冻结测试 3/3、套件全绿、修复在代码里——判定是 FIXED。

但判定还有后半段,也是更有意思的那半。交给 Copilot 的工作有两部分:修 issue、开拉取请求。第一部分做得不错,第二部分完全没做。修复是对的,工作流失败了。

数字没显示出来的东西也值得看。Copilot 自己的测试只覆盖三个任务的情况,而 issue 点名的是零个、一个、三个。在它展示的某段思考里,它甚至说想检查测试是否覆盖零个或一个任务——然后还是只写了三个任务的测试。作者的冻结测试覆盖全部三种,三种都过,所以修复确实完整。但它考虑到的和它写下的之间的差距,值得留意。

仓库自带套件在坏代码上全绿同样值得留意:四十个测试通过,没有一个能看见位置错误的 sleep,因为没有一个传过延迟。套件全绿不等于行为被测过,这一集就是个小而具体的例子。

至于卡住本身:作者不知道聊天为什么卡。两次都发生在工具调用结束之后,除了提交和推送已无事可做。他不打算编一个原因,能说的只有发生了什么,带时间:27 分钟,然后 16 分钟,然后一个死掉的聊天。

边界照实说

  • 一次尝试,一个 issue。是演示,不是统计,只说明这个仓库、这个 issue 上发生了什么。
  • issue 把修复的形状递了过去。"第一个任务之外每个任务前 sleep"就写在 issue 正文里,测试是实现和收尾,不是发明。
  • 修复是找回的,不是从分支拉的。没有分支也没有提交,验证的是从 Changes 视图复制的 diff,应用结果与该记录完全一致(+20 −2,同样的行),但诚实的链条是:找回 diff,本地验证,不是审阅过的拉取请求。
  • Copilot 自己的完整套件结果未知,输出从未渲染。判定依据的是作者本地的完整套件运行。
  • 小活,一个晚上。945 行模块里的三行修复,11 月的一个周六晚上。没有重复,没有第二次尝试。

作者把问题留到下次:如果写代码是 AI 做得好的部分,收尾是它栽跟头的部分,那到底是谁在干活——工具,还是盯着它的人?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
财政部:1—10月,印花税4712亿元,同比增长24.6%

财政部:1—10月,印花税4712亿元,同比增长24.6%

每日经济新闻
2026-11-20 16:59:05
台湾人魏明仁“胆大妄为”:在台湾建毛主席纪念馆,升共产党党旗

台湾人魏明仁“胆大妄为”:在台湾建毛主席纪念馆,升共产党党旗

古渡观书
2026-11-20 01:52:42
很无奈!女子吐槽和老公出门总被认成母子:我只是脸有点大

很无奈!女子吐槽和老公出门总被认成母子:我只是脸有点大

西昆仑Bruce
2026-11-19 16:57:57
库里与詹姆斯的38岁对比!场均少打6分钟多拿2.4分 真碾压詹姆斯?

库里与詹姆斯的38岁对比!场均少打6分钟多拿2.4分 真碾压詹姆斯?

体坛八点半的那些事儿
2026-11-20 17:19:16
美国又出手了,但网上一片叫好

美国又出手了,但网上一片叫好

吴女士
2026-11-19 13:32:59
刘青山死后30年,三个儿子找到当年举报者李克才:请为我父亲平反

刘青山死后30年,三个儿子找到当年举报者李克才:请为我父亲平反

健康快乐丁
2025-07-07 21:54:56
属兔的恭喜了!贵人送财,就在这7天内

属兔的恭喜了!贵人送财,就在这7天内

刺头体育
2026-11-20 17:37:28
切开放一会儿就“发黑”的口蘑,不是坏了——真相是:越白得发亮、放一天都不变色的,越要当心

切开放一会儿就“发黑”的口蘑,不是坏了——真相是:越白得发亮、放一天都不变色的,越要当心

富贵说
2026-11-17 18:37:46
四野独眼开国中将,征战东北至海南,一生毁誉参半,长寿活到95岁!

四野独眼开国中将,征战东北至海南,一生毁誉参半,长寿活到95岁!

浅遇光阴
2026-11-19 14:47:48
1949年,解放军打开马鸿逵的仓库,全部愣住:里面是1286公斤羊毛

1949年,解放军打开马鸿逵的仓库,全部愣住:里面是1286公斤羊毛

历史人文2
2026-11-20 16:55:47
惨!新5元纪念币,没人约了!

惨!新5元纪念币,没人约了!

天天纪念币
2026-11-18 12:05:10
国家出手了!2027年起,看病、买药、住院,可能迎来这些新变化

国家出手了!2027年起,看病、买药、住院,可能迎来这些新变化

云景侃记
2026-11-20 09:48:24
7连阴后 小盘股加速出清:市场在等一个什么信号?

7连阴后 小盘股加速出清:市场在等一个什么信号?

郭一鸣
2026-11-20 15:40:29
印度前内阁部长:深圳APEC没请莫迪,伤了印度的体面。

印度前内阁部长:深圳APEC没请莫迪,伤了印度的体面。

荆楚寰宇文枢
2026-11-19 23:30:01
冬天,每天早上喝一碗,把肝血补回来,手不麻眼不花,整个冬天不怕冷

冬天,每天早上喝一碗,把肝血补回来,手不麻眼不花,整个冬天不怕冷

江江食研社
2026-11-20 14:24:27
越来越多的迹象表明:内塔尼亚胡间接上成为了中国的“大恩人”?

越来越多的迹象表明:内塔尼亚胡间接上成为了中国的“大恩人”?

无情有思可
2026-11-19 08:11:29
Anthropic首秀冲高回落, 引发美股大跌, 经济学家警告:AI行情或终结

Anthropic首秀冲高回落, 引发美股大跌, 经济学家警告:AI行情或终结

每日经济新闻
2026-11-20 08:55:21
笑不活了!如果你不开心,就去看文吉儿戴帽子的网友评论吧,快笑趴了

笑不活了!如果你不开心,就去看文吉儿戴帽子的网友评论吧,快笑趴了

糊咖娱乐
2026-11-20 16:21:36
金平日:与金正日争权失败,驻外30年躲过暗杀,因这件事允许回国

金平日:与金正日争权失败,驻外30年躲过暗杀,因这件事允许回国

阿胡
2025-04-03 13:59:42
王毅介绍中俄美元首会晤情况

王毅介绍中俄美元首会晤情况

界面新闻
2026-11-20 07:06:03
2026-11-20 18:56:49
硅屿手记
硅屿手记
有态度网友ytd
285文章数 88关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
时尚
旅游
游戏
艺术

本地新闻

乌兰察布:以前种土豆,现在种Token

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

PC Gamer试玩GTA6百小时:双主角出色但任务重复

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

无障碍浏览 进入关怀版