网易首页 > 网易号 > 正文 申请入驻

开源解析器霸榜3年,官方承认基准测试全是自己人写的

0
分享至

Parser 这个领域向来安静得像图书馆,直到上周有人翻出了 LlamaParse 的 GitHub 星标曲线——三年涨了 4.2 万星,直接把第二名甩出两个身位。但真正让开发者坐不住的,是一份被删掉的技术白皮书。

事情起于一个 Reddit 帖子。用户发现 LlamaParse 宣传的"透明基准测试",测试集居然全是母公司 LlamaIndex 自己维护的数据集。换句话说,裁判和运动员穿的是同一条裤子。

创始人 Jerry Liu 的回应来得很快:「我们确实用了内部数据集,但代码和评估流程完全开源。」这条评论被顶到了 GitHub Issue 的榜首,下面跟了 300 多条质疑。

争议的核心在于"透明"这个词的定义。LlamaParse 的 README 至今写着"state-of-the-art on transparent benchmarks",但从来没标注过数据来源。有开发者做了对比测试,用同样的 PDF 喂给五个开源解析器,LlamaParse 在自家数据集上准确率 94%,换到 arXiv 论文集直接跌到 71%。

更微妙的是时间线。这个基准测试 2022 年就上线了,直到今年 6 月才被外界质疑。三年里,无数技术博客引用这个数据证明 LlamaParse 的优越性,甚至进了几家云厂商的选型报告。

目前 LlamaIndex 还没修改官网表述。GitHub 上最新的 Issue 有人贴了一张截图:某企业采购经理的邮件,问的就是"你们说的透明基准,第三方能复现吗"。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
为众人抱薪者,不该落得如此下场!

为众人抱薪者,不该落得如此下场!

胖胖说他不胖
2026-04-10 11:00:14
桑葚配俩宝煮水喝,眼睛亮了不干涩,睡得更香甜

桑葚配俩宝煮水喝,眼睛亮了不干涩,睡得更香甜

开心美食白科
2026-04-07 08:31:24
大范甘迪晒本赛季各大奖项选票:约基奇MVP,文班DPOY

大范甘迪晒本赛季各大奖项选票:约基奇MVP,文班DPOY

林子说事
2026-04-10 08:31:57
美伊停火后,俄方态度却180度大变,批评伊朗:攻击了我们的兄弟

美伊停火后,俄方态度却180度大变,批评伊朗:攻击了我们的兄弟

介知
2026-04-10 11:00:37
美国下狠手!美拟全面禁止中国实验室检测美版手机、电脑、相机

美国下狠手!美拟全面禁止中国实验室检测美版手机、电脑、相机

粤语音乐喷泉
2026-04-10 02:33:29
湖北“省考”可以查分了!最低合格分数线公布

湖北“省考”可以查分了!最低合格分数线公布

极目新闻
2026-04-10 10:43:32
集体大涨!霍尔木兹海峡,最新消息

集体大涨!霍尔木兹海峡,最新消息

中国基金报
2026-04-10 09:19:18
笑发财了!闲鱼上只有想不到,没有买不到,网友:赚钱新思路

笑发财了!闲鱼上只有想不到,没有买不到,网友:赚钱新思路

另子维爱读史
2026-03-19 20:03:43
涉嫌严重违纪违法,万亨被查

涉嫌严重违纪违法,万亨被查

吉刻新闻
2026-04-10 09:24:43
万斯匈牙利演讲引爆欧洲,国际关系将发生苏联解体以来最大变化

万斯匈牙利演讲引爆欧洲,国际关系将发生苏联解体以来最大变化

陌上桃花开的
2026-04-09 21:55:21
广州一餐厅推出6元五菜一汤自助餐,有顾客每天都来吃,经营者:曾月亏几万元,如今可保本,并非做慈善

广州一餐厅推出6元五菜一汤自助餐,有顾客每天都来吃,经营者:曾月亏几万元,如今可保本,并非做慈善

台州交通广播
2026-04-10 06:48:24
查尔斯开出见面条件:梅根得先发誓不卖果酱

查尔斯开出见面条件:梅根得先发誓不卖果酱

娱圈观察员
2026-04-10 08:02:39
陈丽华葬礼曝光!多位“大人物”到场,炸出一堆“牛鬼蛇神”

陈丽华葬礼曝光!多位“大人物”到场,炸出一堆“牛鬼蛇神”

阿库财经
2026-04-10 01:10:59
贾浅浅的学历之谜:本科上3年,毕业直接到西安建筑科技大学任教

贾浅浅的学历之谜:本科上3年,毕业直接到西安建筑科技大学任教

汉史趣闻
2026-04-09 14:34:29
属虎人:4月家庭风波,一件隐瞒 众人的“隐情”即将曝光结局。

属虎人:4月家庭风波,一件隐瞒 众人的“隐情”即将曝光结局。

阿天爱旅行
2026-04-08 08:51:24
狂揽4万星!换掉OpenClaw太爽了,5美元就能养个AI打工人

狂揽4万星!换掉OpenClaw太爽了,5美元就能养个AI打工人

新智元
2026-04-09 19:19:45
普通人接触富人的生活有多震撼?网友:吸引力法则让我刷到你!

普通人接触富人的生活有多震撼?网友:吸引力法则让我刷到你!

解读热点事件
2026-03-22 00:05:09
CBA今晚5场焦点战!CCTV5播北京德比,广东PK吉林,上海冲18连胜

CBA今晚5场焦点战!CCTV5播北京德比,广东PK吉林,上海冲18连胜

薇说体育
2026-04-10 11:05:20
薛之谦晒图称自己满头斑秃和水泡:头发都染断了

薛之谦晒图称自己满头斑秃和水泡:头发都染断了

大象新闻
2026-04-09 18:45:25
果然阳谋在任何面前都是无敌的!网友:把水搅混了,也是一种智慧

果然阳谋在任何面前都是无敌的!网友:把水搅混了,也是一种智慧

夜深爱杂谈
2026-04-07 17:50:08
2026-04-10 13:19:00
赛博兰博
赛博兰博
专注捣鼓AI效率工具,试图在这个时代留下数字分身的探索者。
1109文章数 13关注度
往期回顾 全部

科技要闻

程序员惊喜,每月100美元!OpenAI推新套餐

头条要闻

再次"一肩挑"的苏林 将中国作为出访的首个国家

头条要闻

再次"一肩挑"的苏林 将中国作为出访的首个国家

体育要闻

17岁赚了一百万美元,25岁被CBA裁员

娱乐要闻

夏克立婚内出轨 曾参加《爸爸去哪儿》

财经要闻

爱尔眼科一院长被指猥亵 总部:已被停职

汽车要闻

全新一代理想 L8 五座旗舰+5C增程系统 三季度交付

态度原创

游戏
亲子
本地
教育
时尚

《灵魂面甲》正式版上线 灵犀互娱持续深耕国产游戏出海

亲子要闻

阿金哥小时候的照片,锐锐像左边的阿金,霖霖像右边的阿金

本地新闻

12吨巧克力有难,全网化身超级侦探添乱

教育要闻

公共俄语四级词汇与语法技巧,仅3招拿下20分!

越来越流行的松弛感穿搭,照着穿就很好看

无障碍浏览 进入关怀版