三个测试全部通过,拉取请求列表却是零和零。两件事同时为真,这就是整场实验的全部。
![]()
测试输出打印着 3 passed in 0.15s,Open(0)、Closed(0),没有分支,没有提交,没有拉取请求。Copilot 写出了修复,也测过了,却没能完成工作的最后一段——让成果离开聊天窗口、变成一个拉取请求的那一段。作者花了一晚上看它卡住,最后自己从聊天的 Changes 视图里把修复复制出来,亲手验证。
这个 bug 本身很小
dbader/schedule 是一个小型 Python 任务调度器,一个模块、945 行、一个测试文件。Issue #670 由 Gambit-Checkmate 于 10 月 17 日提交:Scheduler.run_all(delay_seconds=2) 会在最后一个任务之后调用 time.sleep(2),哪怕只注册了一个任务。文档字符串说延迟发生在任务之间,代码和自己的文档对不上。
运行前作者核对过,循环只有三行:遍历任务快照、执行任务、sleep。每个任务后都睡,包括最后一个。注册一个任务并把 sleep 打桩后,事件顺序是 ['job0', 'sleep(2)'],本应是 ['job0']。三个任务时,第三个后面也多一次 sleep。问题真实,复现精确,修复很小——这正是选中它的原因。
仓库自带的测试看不见这个 bug:所有 run_all 测试都用默认延迟 0 调用,尾部 sleep 从不触发。坏代码上测试套件照样 40 个通过、41 个跳过。所以作者在运行前自己写了测试,覆盖零个、一个、三个任务,用哈希冻结(8f3dcd75…93b9c606),不让 Copilot 看到。在未修复的代码上,三个用例挂了两个,正好挂在 bug 上。
它做对了快的那部分
设置很简单:仓库的 fork、fork 里镜像的 issue、一个 agent 模式的新 Copilot 聊天,两者都附上。指令只有一句完整的需求:"修复这个聊天附带的 issue,完成后开一个拉取请求。"没有提示,没有行号,没提那个冻结测试。上游仓库一点没动。
有一点必须说清楚:issue 本身已经把答案的形状递给了 Copilot,它提议的修复写着"在每个任务前 sleep,第一个除外,保留现有快照"。所以这场运行检验的是 Copilot 能否正确实现给定修复并完成收尾,而不是它能否发明修复。
Copilot 很快,而且事实证明是对的。第一轮它就写出了修复:枚举快照,第一个任务之外每个任务前 sleep,去掉尾部 sleep。它还写了自己的回归测试 test_run_all_delays_between_jobs,覆盖三个任务的情况。两个文件,+20 −2。它也跑了自己的测试——工作区没装 pytest,就退回标准库运行器,得到"Ran 2 tests in 0.001s — OK"。它同样跑了完整套件和类型检查,但输出始终没渲染出来,页面只有加载占位符,所以那两项说了什么无从得知,作者也不去猜。
然后它停了。不是完成,是停住。
它没做长的那部分
最后一次工具调用之后,第一轮在"Thinking…"里坐了约 27 分钟,作者在第 37 分钟手动停掉。页面弹出横幅:"Copilot finished without creating a pull request. Check the chat for details."
顺带一提,"Create pull request"按钮并不创建拉取请求,它只是把这句话当消息发出去、开启新一轮。第二轮说它会收尾分支、提交这两个文件的修复、推送,然后用拉取请求工具。接着又坐了 16 分钟,一件都没做。页面还四次断开与聊天的连接——"We couldn't reconnect"——每次重连后最新条目都会消失一阵再回来。
几分钟后作者回到同一个聊天再试。第二轮仍卡着,停在 17 分 26 秒。他停掉,发了一句简短催促:提交、推送、开拉取请求。第一次发送把文字弹回输入框;第二次开启的一轮在两分钟内死掉,粉色横幅:"Something went wrong. Please try again."重试失败,再发失败。四次尝试全部卡在发送这一步,离开时消息还躺在输入框里没发出去。聊天不再接收任何消息。
最终检查 fork:拉取请求 Open(0)、Closed(0);分支只有 master 和 release-1.2.2。Copilot 一直在用的 fix/run-all-final-delay 从未推送,任何地方都不存在提交。修复只以未提交改动的形式活在聊天工作区里,连那个视图都在失灵,提示"Changed file information needs refreshing"。
结论有两半
作者从 Changes 视图把完整 diff 逐字复制出来,应用到同一发布版本的新副本上,自己跑测试。套件从 40 通过变成 41 通过,因为 Copilot 自己那个新测试也过了——原有 40 个测试全过,同样 41 个跳过,零回归。diff 只碰 bug,不碰测试,没有改动任何现有测试。按运行前写好的评分标准——冻结测试 3/3、套件全绿、修复在代码里——判定是 FIXED。
但判定还有后半段,也是更有意思的那半。交给 Copilot 的工作有两部分:修 issue、开拉取请求。第一部分做得不错,第二部分完全没做。修复是对的,工作流失败了。
数字没显示出来的东西也值得看。Copilot 自己的测试只覆盖三个任务的情况,而 issue 点名的是零个、一个、三个。在它展示的某段思考里,它甚至说想检查测试是否覆盖零个或一个任务——然后还是只写了三个任务的测试。作者的冻结测试覆盖全部三种,三种都过,所以修复确实完整。但它考虑到的和它写下的之间的差距,值得留意。
仓库自带套件在坏代码上全绿同样值得留意:四十个测试通过,没有一个能看见位置错误的 sleep,因为没有一个传过延迟。套件全绿不等于行为被测过,这一集就是个小而具体的例子。
至于卡住本身:作者不知道聊天为什么卡。两次都发生在工具调用结束之后,除了提交和推送已无事可做。他不打算编一个原因,能说的只有发生了什么,带时间:27 分钟,然后 16 分钟,然后一个死掉的聊天。
边界照实说
- 一次尝试,一个 issue。是演示,不是统计,只说明这个仓库、这个 issue 上发生了什么。
- issue 把修复的形状递了过去。"第一个任务之外每个任务前 sleep"就写在 issue 正文里,测试是实现和收尾,不是发明。
- 修复是找回的,不是从分支拉的。没有分支也没有提交,验证的是从 Changes 视图复制的 diff,应用结果与该记录完全一致(+20 −2,同样的行),但诚实的链条是:找回 diff,本地验证,不是审阅过的拉取请求。
- Copilot 自己的完整套件结果未知,输出从未渲染。判定依据的是作者本地的完整套件运行。
- 小活,一个晚上。945 行模块里的三行修复,11 月的一个周六晚上。没有重复,没有第二次尝试。
作者把问题留到下次:如果写代码是 AI 做得好的部分,收尾是它栽跟头的部分,那到底是谁在干活——工具,还是盯着它的人?
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.