网易首页 > 网易号 > 正文 申请入驻

12个公开任务拿58.67分,这款插件比最佳提示词高2.67

0
分享至

一个命令行小工具,不调用任何模型,也没有依赖,却在12个公开改写任务上拿到58.67分(满分60),比表现最好的其他方案高出2.67分。这个差距的95%自助法区间是[1.00, 4.33],下界高于零。


测试的问题很直接:给AI写作挑毛病的检查工具,能不能让智能体把文件改得更好,比一句好提示词更管用?为此搭了11组对照——检查工具打包成Claude Code插件算一组,另外六个声称能去掉AI腔的Claude Code技能各算一组,再加一组完全不用插件的Claude。其中Humanizer、unslop、everwrite三组还额外用提示词点名调用跑了一遍,11组就是这么来的。每组在每个任务上跑三次,模型是Sonnet 5.5。

任务怎么打分

每个任务都要求智能体就地修改一个真实文件:一份法语发布说明、一段README开头、一条拉取请求描述、发布日志、一份混合语言指南、一个仓库搭建文档。评分只看改完之后文件里有什么,光讨论问题不得分。

每个任务还埋了粗心改写容易弄丢的事实,比如数字、人名、代码和链接,由脚本逐项检查。需要主观判断的部分交给盲评:所有组的输出打乱并匿名,评分者先给理由再给结论,每个格子五票。99个盲评格子里有92个是全票一致。

另外六个工具分别是Humanizer(blader/humanizer,按GitHub API在2026年10月24日的数据约6万星)、unslop、everwrite、slopless、avoid-ai-writing和slop-cop。测试协议在第一个格子跑之前就已写好并提交。

它没有全胜

在h11和h15两个任务上,它拿4.67分,最好的对手拿5.00;h18上双方打平在4.67。按更严格的逐任务规则,这三个任务算失败。

另有6个留出任务,作者是一个没看过这个仓库代码的Sonnet智能体,跑测量的人事先也没读过。在这组上,检查工具落后unslop 0.33分,区间[-1.00, 0.00],所以“排第一”的说法在这组不成立。这0.33分丢在ho1一个任务上,4.67对5.00。四组拿到29.67分以上,连不用插件的基线都有28.67,这组任务分不出高下。两组合起来看:公开组第一,留出组与11组中最好成绩相差不超过0.33。

Haiku 5.5和Opus 5.5也各跑了一遍,只保留检查工具、各组最佳和基线。这些数字只作描述——每个任务只跑一次,一两分的差距落在运行波动之内,而且没有盲评,公开组分数只用脚本标准,满分是57。

提示词做不到的事

检查工具的规则是确定性的:同样的文本给出同样的结果。但一次改写可能通过所有检查,却仍然弄丢一个事实,所以它带了一个--compare参数,逐项列出只出现在一边、没出现在另一边的数字、版本号、日期、链接、引文、代码片段和人名,发现一个就以状态码1退出。它还会报告数字旁边消失的限定词,以及改写新加进去的第一人称或断言词。

下面这段是真实输出,例子是两行文本:

  • facts: 1 kept, 4 lost, 0 added
  • lost date 3 March 2026
  • lost number 1200
  • lost qualifier up to 40
  • lost version 2.4

插件里的技能会在每次改写后跑这个对比,对比失败就视为阻断。不过--compare比的是事实不是措辞,它没法判断一次改写好不好。

代价与偏差

按标价算,这一组每个格子的成本是不用插件基线的2.43倍,两组都是,因为它要更多轮次和更多token。公开组每个格子0.125美元,基线0.051美元。整场测量按标价约91美元。

测量过程出过几处岔子:会话上限两次中断运行,236次公开组和160次留出组尝试因usage_limit_reached失败,记录保留但从未计分,之后用同样的命令重跑;公开组和留出组同时进行,留出组用了更晚的提交,因为测试框架拒绝工作树与提交不一致的情况,而两个提交的产品文件逐字节相同;盲评循环死过一次后重启,一度有两份进程同时写投票文件,重评的165份投票文件全部有效,没有一份被手工丢弃。对33个抽样盲评运行重评,与首次评分在99.4%的标准上一致;60个抽样格子重跑,公开组40个里有38个、留出组20个里有19个落在原先三次运行的区间内。

想自己验证,跑npx ai-slop-linter README.md,或者用npx ai-slop-linter --compare before.md after.md对比两份文本。装成Claude Code插件则是先/plugin marketplace add Bubblegunn/ai-slop-linter,再/plugin install ai-slop-linter@ai-slop-linter。每个格子、偏离协议之处和重算步骤都在第8轮证据文件夹里,REPRODUCE.md给出重跑命令,需要Claude Code 2.1.308、Node 24和大约9小时。任务、标准和测试框架公开在bench/head-to-head/,早前轮次和裁定在docs/HEAD-TO-HEAD.md。仓库是Bubblegunn/ai-slop-linter,0.2.0版本已上npm。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
菲不欢迎我们,那我们也不欢迎菲!我大使回怼,菲总统:无意驱逐

菲不欢迎我们,那我们也不欢迎菲!我大使回怼,菲总统:无意驱逐

也许明天死亡
2026-10-23 17:49:01
日本彻底不装了!扬言全力出手,日防相发最后通牒,日本要平起平坐

日本彻底不装了!扬言全力出手,日防相发最后通牒,日本要平起平坐

坦荡的雪莉
2026-10-24 19:18:57
FCC首次按芯片封杀两款设备,海思SoC成焦点

FCC首次按芯片封杀两款设备,海思SoC成焦点

硅屿手记
2026-10-23 20:25:02
大家管住手!管住手!千万要管住手!后天周一,股市大概率要这样走!

大家管住手!管住手!千万要管住手!后天周一,股市大概率要这样走!

趋势清风侠
2026-10-24 11:23:10
涉嫌严重违纪违法,钱治家被查

涉嫌严重违纪违法,钱治家被查

中国基金报
2026-10-23 23:51:44
做人要聪明:不管亲戚有啥事,只要没通知你,就一律装作不知道

做人要聪明:不管亲戚有啥事,只要没通知你,就一律装作不知道

艺鉴在线
2026-10-23 16:04:43
大规模空袭俄罗斯!至少3枚导弹命中,火箭发动机工厂死伤惨重

大规模空袭俄罗斯!至少3枚导弹命中,火箭发动机工厂死伤惨重

鹰眼Defence
2026-10-24 16:48:50
郭台铭:谁要是敢惹台湾,我就放8万只机械战士去收拾他们!

郭台铭:谁要是敢惹台湾,我就放8万只机械战士去收拾他们!

怪味历史连连看
2026-09-27 17:40:01
刘奇凡任云南省政府党组书记

刘奇凡任云南省政府党组书记

新京报
2026-10-24 19:43:08
女主播在缅甸视频流出:状态涣散,眼神无助,可惜了这么好的身材

女主播在缅甸视频流出:状态涣散,眼神无助,可惜了这么好的身材

皮蛋儿电影
2026-09-23 10:51:15
局势彻底变天了!中日对峙一天天拖下去,越来越多国家终于意识到:中日若兵戎相见,不会像俄乌冲突那样给第三方牟利的机会,而是一场血战

局势彻底变天了!中日对峙一天天拖下去,越来越多国家终于意识到:中日若兵戎相见,不会像俄乌冲突那样给第三方牟利的机会,而是一场血战

林杰论事
2026-10-03 02:28:50
根据马云对未来房价预测:300万的房子,到2030年还能值多少钱?

根据马云对未来房价预测:300万的房子,到2030年还能值多少钱?

专业聊房君
2026-05-14 07:30:29
超级世界波!依木兰轰处子球,爆射直入死角,媒体人集体点赞

超级世界波!依木兰轰处子球,爆射直入死角,媒体人集体点赞

奥拜尔
2026-10-24 15:51:27
iPhone Duo提前到手!林俊杰亲测实机「只脱口一个字」被拍真实反应

iPhone Duo提前到手!林俊杰亲测实机「只脱口一个字」被拍真实反应

ETtoday星光云
2026-10-22 13:35:18
“娱圈老王”的瓜!

“娱圈老王”的瓜!

文刀万
2026-10-23 06:15:04
怀孕9个月肚子太小,李多海自曝因此登上中国热搜

怀孕9个月肚子太小,李多海自曝因此登上中国热搜

自愈小日子
2026-10-23 02:35:50
鹈鹕先发中锋疑似遭遇了膝盖伤病他可能需要长期缺阵?

鹈鹕先发中锋疑似遭遇了膝盖伤病他可能需要长期缺阵?

稻谷与小麦
2026-10-24 22:48:45
薄一波究竟属于哪一级别?是正国级,还是副国级?

薄一波究竟属于哪一级别?是正国级,还是副国级?

人生录
2026-10-15 05:18:24
中国汽车9月城市销量偏好地图:北京、上海是Model Y,山河四省不爱新势力,还有许多你想不到!

中国汽车9月城市销量偏好地图:北京、上海是Model Y,山河四省不爱新势力,还有许多你想不到!

首席商业观察
2026-10-21 22:54:48
给口碑最好10部国产战争剧排名:《伟大的长征》第7,第一无争议

给口碑最好10部国产战争剧排名:《伟大的长征》第7,第一无争议

皮皮电影
2026-10-22 18:20:13
2026-10-24 23:19:00
我是一个粉刷匠2
我是一个粉刷匠2
有态度网友ytd
231文章数 173关注度
往期回顾 全部

科技要闻

写程序、做3D,新Kimi还有多少本事?

头条要闻

八国共同发出警告:不要对伊朗发动新一轮打击

头条要闻

八国共同发出警告:不要对伊朗发动新一轮打击

体育要闻

从乐透秀到总冠军再到没工作 一共要几年?

娱乐要闻

翁虹19岁女儿三次拒爱,在美国上学却“不随便”

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

大众安徽与众09正式上市 双十一权益价16.99万起

态度原创

本地
教育
时尚
房产
军事航空

本地新闻

这么近,那么美,周末赴贺州丨大湾区后花园

教育要闻

高校转专业全面放开,但别被“零门槛”骗了

怕停产专场|| 35岁后越来越觉得,真正的“长期主义”是保住它

房产要闻

百亩大盘又 +1!攒量超 200 万㎡!江东,要燃起来了!

军事要闻

辽宁舰编队远海训练细节首度披露

无障碍浏览 进入关怀版