一篇已经发布的技术文章,被拉去做了一次数字体检。工具把文中每一个看起来像结论的数字重新算了一遍,然后在旁边写下判决:VERIFIED(通过)、MISMATCH(对不上)、NOT CHECKABLE(无法核查)。
![]()
这次体检的对象,是发布工具包自己的一篇操作说明文章。它自带一个 evidence/ 目录和一份 CLAIMS.md 台账,正好给每个技能提供了可对照的底稿。整套流程由两个 Claude Code 插件接力完成:research-kit 负责产出判决,publishing kit 负责执行判决。
两个插件怎么接上
research-kit 是一个 Claude Code 插件,内含九个面向研究论文工程的技能,移植自 Robina Mirbahar 的 Antigravity 研究工具包。每个技能读一篇论文,要么检查它,要么从它身上搭出点东西。插件里还有 trajectory-cinematics 和 frontier-gap-radar 两个技能,它们需要一个随时间变化的系统、一批需要综述的研究文献,这次运行没有带上它们。
publishing kit 则是一个把单篇 markdown 文章转成 dev.to、AWS Builder Center、Medium、Substack 和 LinkedIn 五个版本的技能。在内容发出之前,preflight.py 会跑一遍检查,链接检查只在加 --live 时执行,任何一项失败就以非零状态退出。其中一项检查是 check-facts.py,它把文章正文里像结论的数字(计数、尺寸、比例、版本号、p 值)抽出来,逐个到文章的 evidence/ 文件夹里找对应。
两个工具包之间的交接物是两份 JSON 文件和一个文件夹。出现在证据里的数字通常直接通过;审计记录会把文章自己写的数字和重算出来的数字并排放,由判决说话——MISMATCH 或 NOT CHECKABLE 都会以 DISPUTED 的身份让构建失败,直到文章改掉它,或者台账给出解释。
为什么拿一篇文章开刀
论文和技术文章许下的是同一种承诺:每个数字都有出处。研究技能用代码重算每个数字来检验这个承诺,并在旁边写下判决。这次被审计的文章,正是 publishing kit 自己的那篇走查说明,它随附 evidence/ 目录和 CLAIMS.md 台账,每个技能都有东西可对照。
动手之前需要准备的东西不多:Claude Code;装有 pymupdf 和 pillow 的 python3;用于 PDF 相关技能的 Chrome、Edge 或 Chromium;以及一篇放在 git 仓库里的文章,旁边配一个 evidence/ 文件夹。
算术这一关
math-sandbox 把文章及其证据里的每一个定量结论抽出来重算,写出 eq_verified_numbers.json。结果是 26 条结论:15 条通过,5 条无法核查,6 条对不上。
其中一条算得挺细:裁剪比例 1000/420 = 2.380952,宽度 1376 时保留 577.92 行,从 768 起每边损失 95.04。文章说 dev.to 通过 2.381:1 的裁剪展示封面,所以一张 1376x768 的封面上下各掉 95px——算术成立。但 95px 这个损失量假设的是居中裁剪,而证据里的代理 URL 写着 gravity=auto,上下如何分配并没有被测过。
计数这一关
ablation-stat-auditor 把每个计数当作比率重算,配 95% 的 Wilson 区间,遇到两个计数相比时还会跑对应的显著性检验。结果是 16 条计数记录:7 条通过,6 条对不上,3 条无法核查。
文章的头号数字——dev.to 上 62 个段落里有 47 个出现多余换行——与它的证据文件吻合:75.8%,95% 区间为 63.8% 到 84.8%。但文章在别处写过"每个段落都有多余换行",而 62 个段落里有 15 个并没有。
Medium 那条更微妙:4 张图粘贴后 0 张存活,对比另一组 4 张图 4 张存活。如果两组用的是同样四张图,配对检验给出 p = 0.125,在全部存活或全部失败的结果下,要到六张图才首次低于 0.05;若当作两个独立样本,Fisher 检验给出 p = 0.0286。证据没有记录到底粘了哪几张图。如果编辑器每次行为一致,一份存档的粘贴记录就足以支撑这个结论,而台账里带着的是一份日期为 2026-08-30 的日志,没有对应产物。
图、链接和交互页
figure-forensics 打开每张图、量尺寸、标注成 PDF。文章目录里每一张 dev.to 封面都是 1376x578,2.381:1 的裁剪正好完整保留。工具包在 --mode devto 改变之前做的是 1376x768 的封面,所以文章里的例子描述的是那批旧封面,现在那句话已经改口。
文章还说过"封面上的两个数字是真的"。两张封面都不带数字。在当前那张上,figure-forensics 数出五个目的地形状、没有文字,而文章描述的是四个目的地。
citation-doi-verifier 到 Crossref、OpenAlex 和 arXiv 逐个查引用。文章没有引用任何学术作品:11 条链接里 10 条可解析且已识别,11 条全部抓取过,10 条匹配到了第二来源——仓库走 GitHub API,文章副本走 dev.to API,封面做字节比对。Medium 对脚本返回 HTTP 403,所以它的副本需要在浏览器里人工核一遍。
interactive-paper-studio 搭出一个离线 index.html,带封面尺寸、字号、信息流卡片宽度和换行列的滑块。页面里的 JavaScript 模型与 Python 模型逐值对照:130 个值,0 处不一致,最大绝对误差 0.00e+0。
滑块还牵出另一个发现。工具包 make-cover.py 里有一条注释说,低于约 40pt 的字号在 320px 的信息流卡片里会消失。它自己的阈值是 LEGIBLE_PX = 10 像素,在 1376 宽的封面上相当于 43pt,注释现在也这么写了:legibility 计算为 43.0,而 40pt 在 320/1376 下是 9.3px。
把判决交给发布流程
把两份审计文件复制进文章的 evidence/ 文件夹,其余不用配置,preflight.py 默认就到 /evidence 里找。对已发布版本跑一遍,结果是:7 条结论对上 15 个证据文件、15 行带日期的日志记录,4 条 DISPUTED 里 0 条被跳过。这次运行覆盖五个输出,把待处理标记从 34 降到 12,剩下的 12 条是 Medium 的计数和 320px 卡片宽度。
发布工具包会把一次撤回写成 Correction 段落,让被撤掉的结论仍然留在读者视野里。修复项以"原来、现在、证据"三列的表格进了台账,仓库的读者能看到改了什么、为什么改。
结果清单
- 26 条结论受检:15 条通过,6 条对不上,5 条无法核查
- 47/62 与证据吻合:75.8%,95% 区间 63.8% 到 84.8%
- "每个段落""封面上"和页脚日期三处夸大了证据,均已修正
- Medium 的 0/4 对 4/4 没有存档产物,保留但附带说明
- 预检的争议数字从 3 个降到 0 个,3 个都在台账里得到解释
范围说明:一篇文章,审计于 2026-11-16,使用 research-kit 1.3.1 与 publishing kit 0.36.2。每个技能作为独立代理运行,漫画那一步在最终页审阅前就停了。publishing kit 需要 0.36.0 或更高版本才能读审计记录,0.36.1 才阻止单个共享数字被当成匹配,0.36.2 才让 publish-devto.py 跑数字检查。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.