网易首页 > 网易号 > 正文 申请入驻

有人编造假数据喂给AI,我做了个10秒核查器

0
分享至

上周我在 Hacker News 上看到一个帖子:有人专门搭了个一次性网站,往里塞假统计数据,就为了看大模型把这些数字当事实引用。帖子拿到 295 分、168 条评论。它戳中了很多人的神经,因为我自己也遇到过更温和的版本——AI 助手递来一份草稿,里面理直气壮地写着"73% 的开发者……",还附了链接,而我没有任何快速办法去确认那个链接里到底有没有 73%。

我找到的现成引用核查工具,回答的其实是另一个问题:"这条参考文献存在吗?"它们面向学术文献目录,多数还是付费的网络服务。我要的东西更窄、也更本地:被引用的那个页面里,到底有没有这些数字。于是我把它做了出来。

factfence 是什么

factfence 是一个零依赖的 Python 命令行工具。把它指向任意 markdown 或文本文件——博客草稿、文档、AI 生成的报告——它会做这几件事:

  • 抽出所有量化断言(百分比、金额、大额计数、倍数、比例),并跳过代码块,这样 retries = 99 不会被当成一条"断言"。
  • 每个不重复的引用只抓取一次(礼貌的 user-agent、8 秒超时、1.5MB 上限),把页面压缩成规范化纯文本。
  • 对每条断言给出五种判定之一。

五种判定分别是:SUPPORTED(被引页面里确实有这些数字)、UNVERIFIED(页面能打开,但不含这些数字——这是最典型的 AI 幻觉形态)、BROKEN(所有被引链接都抓取失败)、UNCITED(一个硬数字,完全没有引用)、CITED(一句"研究表明……"式的断言,链接有效,但没有可交叉核对的数字)。

跑起来是什么样

拿一段 AI 写的样例文字实测,输出是这样的:

[✓ SUPPORTED] 据 2026 年 DevTools 调查,73% 的开发者表示 AI 生成的代码在合并前需要人工审查。HTTP 200,匹配到 73%。

[? UNVERIFIED] 有团队声称 99.9% 的 AI 建议可直接上生产,引用了一份内部研究。HTTP 200,被引页面抓到了,但不含该断言的任何数字。

[! UNCITED] 常有人说 2027 年前 60% 的代码将由 AI 编写,但没人给出出处。量化断言无引用,需人工核实。

汇总一行:共检查 6 条断言,2 条支持、1 条有引用、1 条未验证、1 条链接失效、1 条无引用,3 条需要复核。

退出码对 CI 友好(0 表示干净,1 表示需要复核,2 表示出错),加 --json 可以拿到机器可读的输出,直接接进流水线。

怎么用

克隆仓库、进入目录,用 python3 -m factfence your-draft.md 跑你的草稿。不需要 pip install,只用标准库,要求 Python 3.10 以上。

它故意不做什么

它检查的是引用是否支撑断言,不是断言是否为真。一条 SUPPORTED 的断言,如果来源本身是错的,它照样可能是错的——这个工具抓的是更常见的那种失败:数字说得斩钉截铁,引用却是死链、不相关或者干脆没有。

数字匹配是文本层面的,"73%"和"接近四分之三"对不上;需要登录的页面抓不到;工具目前以英文为主。这些都在 README 里作为局限写明,而不是藏起来。

如果你要发布任何有大模型参与写作的内容,把草稿过一遍。它标出来的那三句话,恰好就是值得你再读一遍的三句话。

仓库地址:github.com/techdevfun/factfence,MIT 许可,欢迎提 issue 和 PR。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
这就尴尬了,5个国产手机,总销量只有iPhone18 Pro三分之一

这就尴尬了,5个国产手机,总销量只有iPhone18 Pro三分之一

互联网.乱侃秀
2026-10-23 15:01:57
比吃屎还难受!勇士最后三分钟被打17-0!

比吃屎还难受!勇士最后三分钟被打17-0!

篮球大图
2026-10-24 13:05:20
终于知道为什么大家都说农学是抑郁率最低的专业了!

终于知道为什么大家都说农学是抑郁率最低的专业了!

另子维爱读史
2026-10-18 11:46:21
豆包评出中国最美10大湖泊,纳木措第3,西湖第5,抚仙湖垫底

豆包评出中国最美10大湖泊,纳木措第3,西湖第5,抚仙湖垫底

赏玩夜忘归
2026-10-24 10:04:50
“过午不食” 真能长寿吗?55岁男子坚持1年不吃晚饭,体检结果让他沉默了…

“过午不食” 真能长寿吗?55岁男子坚持1年不吃晚饭,体检结果让他沉默了…

小方说跑步
2026-10-23 14:30:03
300916,拟收购光通信资产!重磅规划出炉,6G商用将适时启动,活跃概念股名单揭晓

300916,拟收购光通信资产!重磅规划出炉,6G商用将适时启动,活跃概念股名单揭晓

数据宝
2026-10-24 12:24:54
2米21中锋16分钟仅1分1板,球迷:CBA都打不明白怎么进的国家队?

2米21中锋16分钟仅1分1板,球迷:CBA都打不明白怎么进的国家队?

弄月公子
2026-10-24 10:20:19
在北京,裁员已经不挑人了

在北京,裁员已经不挑人了

时尚的弄潮
2026-10-24 08:42:59
中国乒乓大捷!4-3夺冠,绝杀日本松岛美空,杜韩静3小将豪夺3冠

中国乒乓大捷!4-3夺冠,绝杀日本松岛美空,杜韩静3小将豪夺3冠

湘村大余
2026-10-19 18:37:44
79年对越自卫反击战爆发时,李德生为何坚决反对儿子上前线当参谋?

79年对越自卫反击战爆发时,李德生为何坚决反对儿子上前线当参谋?

雍亲王府
2026-10-23 10:15:08
倒计时!曼联最快24小时“变天”!名帅携1.2亿“顶星”入主红魔

倒计时!曼联最快24小时“变天”!名帅携1.2亿“顶星”入主红魔

头狼追球
2026-10-23 16:29:05
人民日报推荐的双腿提踵!不起眼的踮脚,好处远超你的想象

人民日报推荐的双腿提踵!不起眼的踮脚,好处远超你的想象

解说阿洎
2026-10-19 04:57:50
泰国旅游部长:别国游客为何没遇到绑架?

泰国旅游部长:别国游客为何没遇到绑架?

怪味历史连连看
2026-10-23 08:50:25
2年后自由身离队?曝利物浦拒续约7000万王牌!本赛季欧冠3场3球

2年后自由身离队?曝利物浦拒续约7000万王牌!本赛季欧冠3场3球

我爱英超
2026-10-24 06:57:37
钱再多有什么用?39岁身价不菲的李思思,如今却为儿子操碎了心

钱再多有什么用?39岁身价不菲的李思思,如今却为儿子操碎了心

新一说史
2026-10-23 09:03:32
岳飞巨幅真迹出土,已达“字如其人”至高境界,秦桧看了无地自容

岳飞巨幅真迹出土,已达“字如其人”至高境界,秦桧看了无地自容

幸福娃书画苑
2025-08-03 09:40:40
网红小姐姐这身通勤OL穿搭,确实很吸引人

网红小姐姐这身通勤OL穿搭,确实很吸引人

美女穿搭分享
2026-10-24 11:19:10
他曾与刘涛同床共枕4年,如今年过六旬依旧未娶,刘涛坦言很愧疚

他曾与刘涛同床共枕4年,如今年过六旬依旧未娶,刘涛坦言很愧疚

莫地方
2026-10-20 10:20:14
必须警惕“蔡正元现象”在大陆的泛滥

必须警惕“蔡正元现象”在大陆的泛滥

小莜读史
2026-10-17 20:09:09
奢靡荒唐的白马会所:性交易泛滥,让无数富婆挥金如土

奢靡荒唐的白马会所:性交易泛滥,让无数富婆挥金如土

天启大世界
2026-10-13 17:17:54
2026-10-24 16:39:00
薛定谔的BUG
薛定谔的BUG
有态度网友ytd
244文章数 108关注度
往期回顾 全部

科技要闻

写程序、做3D,新Kimi还有多少本事?

头条要闻

父亲突发不适男子询问AI才知脑梗 用AI抢回黄金4小时

头条要闻

父亲突发不适男子询问AI才知脑梗 用AI抢回黄金4小时

体育要闻

从乐透秀到总冠军再到没工作 一共要几年?

娱乐要闻

翁虹19岁女儿三次拒爱,在美国上学却“不随便”

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

大众安徽与众09正式上市 双十一权益价16.99万起

态度原创

旅游
教育
家居
艺术
公开课

旅游要闻

美丽北京|白家疃银杏“隧道”迎来观赏佳期

教育要闻

速看!这些高招考试时间确定

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

18幅 美国当代画家约瑟夫·迪利作品

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版