一个学生的Agent跑在免费栈上,挂了。他花了四十分钟改提示词。真正的原因?机器睡着了。或者反过来——他重启了三次服务器,想修一个过期的密钥。
这就是整个实验课的一句话总结:在免费栈上,"它坏了"是两个不同的bug穿着同一件衬衫。
这是一份用于90分钟结对练习的实验课材料。它先教失败归因,再教任何关于提示词的东西。之所以成立,是因为归因这件事练起来便宜,搞错了却很贵。
它是什么,不是什么
- 它是一次操练:拿到一个跑挂的运行,先说出是哪一层出了问题,再碰一行代码。
- 它是两个探针、一张表、四个检查点,和一份十分钟能打完分的评分标准。
- 它不是基准测试。这里不测量任何模型质量。
- 它不是厂商评测。免费额度会变,分辨层与层的能力不会。
两笔预算,两只时钟
让这套实验课成立的前提是这个:一个免费的Agent栈通常给你两样互相独立的东西,各自有各自的耗尽方式。
- 一份计量额度——你消耗工作量,而工作量有天花板。
- 一个托管运行时——有一台机器为你存在,而机器有寿命。
它们的失败方式不同。一个失败表现为拒绝,另一个失败表现为缺席。而拒绝的修法(放慢、检查凭证)不是缺席的修法(唤醒它、重新连接)。
所以——你有没有为了修一个错误的API密钥而重启过服务器?恭喜,你调试错了那只时钟。
实验课的底座用的是MonkeyCode,一个开源项目,其运营方提供给这份材料的说明里描述了免费模型访问加免费服务器选项。这个组合正是操练需要的:两个失败面,零账单。说明里还提到了一份免费token额度——任何这类数字都当作易腐品处理。在讲义上给它打上日期,上课前重新核对当前条款,因为没有什么比九月印上去的配额更快让一份教学大纲过时。
披露:本文是作为MonkeyCode产品推广的一部分准备的。
产物一:双探针脚本
一个脚本,两个探针,一个判定。只用标准库,这样没人会在实验课上跟pip打架。这个版本作为实验产物提供,未在本文写作过程中执行——你自己跑,把JSON粘进日志。
脚本定义了两个探针函数:host_probe用socket对免费服务器做TCP握手,model_probe向模型端点请求/models并带上密钥。两个探针各自记录是否成功、细节和耗时。判定函数按四种组合给出结论:
- 两个都通:bug是你的,不是栈的。
- 两个都不通:先查网络或凭证,其他往后放。
- 只有host不通:主机侧——睡着了、被重启了,或者没了。
- 只有model不通:模型侧——额度、密钥或端点,不是那台机器。
给学生的一句警告:耗时是线索,不是诊断。一个慢的模型探针和一个死掉的主机探针都可能耗掉十秒。先按成功标志分类,计时只用来区分"慢"和"被拒绝"。
产物二:归因表
探针跑完之后,结对的人用真实失败把这张表填满。空格才是重点——一个空单元格是他们观察里的bug,不是栈里的bug。
四个检查点
- 绿色基线(10分钟)。两个探针都返回成功,带时间戳粘进日志。没有基线,就没有实验课。
- 故意弄坏(20分钟)。把模型端点指向一个关闭的端口,判定必须说主机侧。用一个故意写错的密钥,判定必须说模型侧。如果脚本分不清人为破坏,那是脚本错了,不是栈错了。
- 收集十次真实失败(40分钟)。每一行都要有探针结果、时间戳,和你声称的层。允许猜;不允许猜了不记。
- 冷交接(20分钟)。和另一对交换日志。他们只看日志预测层。你的笔记现在就是产品。
延伸目标
- 加一次带退避的重试,但只加在你叫得出名字的那一层上。如果它对两层都有帮助,你加的是抖动,不是理解。
- 数一数你自己项目里过去有多少次失败被归错了层。这个数字通常很难看,但总是有用。
- 换一个免费主机或模型端点,确认这张表在替换后依然成立。
评分标准
注意什么不得分:一个漂亮的提示词。评分标准打的是观察,而观察才是能迁移到下一个栈的东西。
局限,以及谁该跳过
- 探针测的是可达性和认证。它对输出质量、负载下的延迟或成本一无所知。
- 分类是启发式的。双层失败确实存在,脚本只会挑一个。
- 免费层条款会动。讲义里任何数字都需要一个日期和一个链接。
如果你的团队已经在跑带分层错误预算的结构化追踪,跳过这堂课——你已经有这件仪器,只是更大号。如果你的项目只是一个跑一次的脚本,也跳过;归因只有在反复调试时才有回报。
先自己跑,再去教
设好三个环境变量,对着一个活的配置跑一次脚本,然后故意弄坏它。如果你自己的判定让你意外,那个意外就是你课上的第一张幻灯片。
如果你想不花采购单就跑检查点一到三,MonkeyCode里的免费模型和免费服务器选项足够撑起第一次课——只要在打印讲义的那个早上核对一遍当前条款。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.