网易首页 > 网易号 > 正文 申请入驻

492份AI编程指令文件实测:中位数仅达标3项

0
分享至

上周,开发者发布了一款名为cc-audit的Python工具,专门用于检测CLAUDE.md或AGENTS.md文件的质量。这款工具依据12条行为规则对文件进行评分,规则涵盖AI编程代理的工作方式。开发者用它对GitHub上492份公开的CLAUDE.md文件进行了扫描,结果揭示了当前生态系统的真实面貌。

数据来源为GitHub代码搜索返回的前500个公开CLAUDE.md文件,其中492份在扫描时可访问,另外8份已被移动、重命名或置于分支后。评分采用关键词信号匹配方式,检查文件是否涉及每条规则。同时,工具还扫描了API密钥、数据库URL、私钥等敏感信息泄露情况,并启用了占位符感知过滤。


这12条规则源自claude-code-pro-pack基线,包括Karpathy最初提出的4条,以及针对代理编排失败模式补充的8条。具体包括:编写新代码前阅读相邻或现有代码;不虚构API、导入或文件路径;展示部分成功,绝不静默失败;为每项任务设置令牌上限,达到时停止并询问;匹配项目现有风格和约定;每次运行只处理一项任务,不捆绑无关变更;展示冲突模式而非取平均;声明完成前运行测试;不擅自编辑范围外内容;用一行总结每次工具调用的效果;卡住或模糊时停止询问;失败状态可见,绝不隐藏错误。

扫描结果显示,492份文件的大小差异显著,最小11字节,中位数3.9KB,平均7.5KB,最大167KB。合规表现方面,中位数为3/12,平均3.54/12,最高10/12。没有文件获得满分12/12,41份文件得零分,占比8%。仅11份文件进入前25%,得分不低于9/12,占比2.2%。好消息是,未发现任何文件泄露生产环境密钥。

一句话总结:中位数水平的CLAUDE.md只覆盖了四分之一的重要行为规则,而前2%的文件覆盖了四分之三。

在规则覆盖方面,"运行测试"是几乎所有人都写到的规则,仅13%的文件遗漏。这与过去一年来各类CLAUDE.md模板普遍包含"运行测试"版本有关。覆盖率第二高的是"匹配项目风格",达55%,主要是因为这条规则常被引用自Karpathy的原始版本。其余规则则处于"部分文件记得,大部分不记得"的状态。

某些规则的缺失会造成实际时间损失。规则9"不擅自编辑范围外内容"被98%的文件遗漏。缺少这条,代理可能在修复单行bug时"好心"地重新格式化整个文件,导致PR中出现500行噪音包裹3行实际修改,审阅者被淹没,真实变更被淹没。添加这条规则只需一句话。

规则10"总结工具调用"被94%的文件遗漏。没有这条,你会得到大量"我打算做什么"的冗长解释,却很少看到"我实际做了什么"。长时间会话中你会迷失主线。只需一句话:"每次工具调用后,写一行说明:你修改了什么,哪个文件。"

规则12"可见失败状态"被91%的文件遗漏。这是"迁移成功完成"问题的另一种表现形式——代理在成功叙述的段落中隐藏失败,或干脆不报告错误。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
第一次感受到维C的“杀伤力”,2块钱一瓶,就能搞定8个麻烦事

第一次感受到维C的“杀伤力”,2块钱一瓶,就能搞定8个麻烦事

室内设计师有料儿
2026-05-09 10:26:26
世界杯还没开踢,中国球迷先“退票”了

世界杯还没开踢,中国球迷先“退票”了

每日经济新闻
2026-05-11 22:56:12
经济复苏的三个标志

经济复苏的三个标志

生命可以承受之轻
2026-05-11 09:05:02
中国在美伊开战后石油日进口减少25%,但库存创新高,还将部分石油出售

中国在美伊开战后石油日进口减少25%,但库存创新高,还将部分石油出售

爆角追踪
2026-05-12 09:20:42
上海地铁打人爆火!两老人施暴女孩,官方怒批倚老卖老,追责难逃

上海地铁打人爆火!两老人施暴女孩,官方怒批倚老卖老,追责难逃

奇思妙想草叶君
2026-05-12 02:14:56
Shams:雄鹿已正式公开字母哥交易报价并开启谈判

Shams:雄鹿已正式公开字母哥交易报价并开启谈判

懂球帝
2026-05-12 08:09:15
东北一男子养鹿破产,赌气放生了30头鹿,8年后上山,眼前一幕却让他泪崩了...

东北一男子养鹿破产,赌气放生了30头鹿,8年后上山,眼前一幕却让他泪崩了...

背包旅行
2026-05-11 14:51:09
72岁外长王毅冒雨单膝一跪,这一跪,跪出了大国的脊梁!

72岁外长王毅冒雨单膝一跪,这一跪,跪出了大国的脊梁!

奇思妙想生活家
2026-05-12 07:28:32
阿根廷公布世界杯55人大名单:迪巴拉无缘!上届5位冠军成员落选

阿根廷公布世界杯55人大名单:迪巴拉无缘!上届5位冠军成员落选

我爱英超
2026-05-11 21:12:05
国际足联彻底翻脸!

国际足联彻底翻脸!

阿振观点
2026-05-12 05:45:05
骑士112-103活塞,米切尔创4项纪录!谁是赢球功臣?数据不会说谎

骑士112-103活塞,米切尔创4项纪录!谁是赢球功臣?数据不会说谎

毒舌NBA
2026-05-12 10:51:31
亚历山大回应罚球争议!追梦力挺SGA:没本事赢他就闭嘴

亚历山大回应罚球争议!追梦力挺SGA:没本事赢他就闭嘴

罗说NBA
2026-05-12 05:57:07
维修资金成了“提款机”?上海一小区物业被曝疯狂敛财:1.3万修个插头,300元椅子敢报1000

维修资金成了“提款机”?上海一小区物业被曝疯狂敛财:1.3万修个插头,300元椅子敢报1000

观威海
2026-05-11 21:54:14
天津一广场“胸口碎大石”表演锤头突然脱把飞出一孩童被砸,当地政府:小朋友没什么大问题

天津一广场“胸口碎大石”表演锤头突然脱把飞出一孩童被砸,当地政府:小朋友没什么大问题

观威海
2026-05-11 21:50:11
贵阳女子1880元办不限次数的瑜伽季卡,连上20多天课后被教练踢出群聊:天天来,你不累吗?

贵阳女子1880元办不限次数的瑜伽季卡,连上20多天课后被教练踢出群聊:天天来,你不累吗?

观威海
2026-05-11 20:46:40
21岁双胞胎姐妹1死1重伤,凶手为妹妹男友,案发前数小时双方在派出所调解,家属起诉警方失职;嫌犯作案当天发布动态:狠角色我只扮演一次

21岁双胞胎姐妹1死1重伤,凶手为妹妹男友,案发前数小时双方在派出所调解,家属起诉警方失职;嫌犯作案当天发布动态:狠角色我只扮演一次

大风新闻
2026-05-12 08:55:33
1-1!热刺痛失好局+无缘3连胜 保级悬念仍在:剩2轮领先西汉姆2分

1-1!热刺痛失好局+无缘3连胜 保级悬念仍在:剩2轮领先西汉姆2分

我爱英超
2026-05-12 06:27:23
彭加木被找到了!知情人:DNA专家说99%就是彭加木,但有个遗憾!

彭加木被找到了!知情人:DNA专家说99%就是彭加木,但有个遗憾!

拳击时空
2026-05-12 05:55:35
国际乒联发林诗栋跳上球桌视频,日本网友炸了:非常无礼必须处罚

国际乒联发林诗栋跳上球桌视频,日本网友炸了:非常无礼必须处罚

杨华评论
2026-05-11 14:30:27
关窗!关灯!深圳多地突然大量出现,头皮发麻!网友崩溃:住30几层都逃不掉

关窗!关灯!深圳多地突然大量出现,头皮发麻!网友崩溃:住30几层都逃不掉

南方都市报
2026-05-12 08:03:14
2026-05-12 11:07:00
硅屿手记
硅屿手记
有态度网友ytd
3957文章数 21关注度
往期回顾 全部

科技要闻

纳德拉法庭爆料:拒当“AI时代的IBM”

头条要闻

牛弹琴:特朗普要来了 可以肯定这不是一次寻常的访问

头条要闻

牛弹琴:特朗普要来了 可以肯定这不是一次寻常的访问

体育要闻

梁靖崑:可能是最后一届了,想让大家记住这个我

娱乐要闻

刘涛晒妈祖诞辰活动照 评论区变许愿池

财经要闻

特朗普要来了,我们且淡定

汽车要闻

吉利银河“TT”申报图曝光 电动尾翼+激光雷达

态度原创

艺术
旅游
数码
时尚
公开课

艺术要闻

这位画家的油画美人让人惊叹不已!

旅游要闻

“李子出山”到“民宿出圈”!看清镇站街的“短视频+”融合之道

数码要闻

2026女生轻薄本电脑5强对决 这款1kg 轻薄本竟性能拉满

推广|| 你们都想要的绝美白衬衫,链接来了!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版