网易首页 > 网易号 > 正文 申请入驻

PDF表格一进RAG就幻觉?问题出在扁平化

0
分享至

企业里大量知识藏在PDF表格里,但标准RAG(检索增强生成)流水线一碰到它们就翻车。不是模型不够聪明,而是预处理阶段就把表格的网格结构摧毁了——行与列的交叉关系一旦被压成纯文本,LLM看到的只是一串无结构的数值流,幻觉几乎是必然结果。

这篇文章提出了一套诊断框架和五个可组合的操作,核心思路很直接:把表格当作原生结构化数据来对待,而不是装饰性文本。作者认为,正确做法不是把表格作为文本处理得更好,而是在尽可能早的阶段将其恢复为结构化形式,此后一律当作数据处理。


四个表示层级,匹配不同问题形状

作者定义了四个表示层级,让调度器能把结构与实际问题的形状匹配起来。Level A是按行Markdown,足以应对大多数问题——像散文一样叙述的表格,直接从行里检索答案就行。Level B是独立DataFrame,在需要二维操作(比如跨页拼接或列投影)时使用。

Level C把频繁出现、schema稳定的表格提升为可SQL查询的列式存储,支持语料库级问题。Level D则是schema无法规范化时的诚实回退方案。四个层级各有适用场景,调度器根据诊断结果决定走哪条路。

五字段诊断,替代脆弱决策树

诊断系统为每个表格记录五个正交属性:解析质量(完美/部分/失败)、规模(行×列对)、表头状态(存在/缺失/续表)、跨页连续性(独立/自第N页续/延续至第M页)、文档级表格文字比。每个字段单独记录,调度器读取全部五个字段后,幂等地组合操作。

比如一个部分解析+续表+大表格的组合,会依次执行结构重建、多页拼接、问题驱动投影。这种设计避免了脆弱的决策树逻辑,每个字段独立记录,组合方式确定且可预测。

解析器的选择,分量不亚于操作的选择

文章强调了一个容易被忽视的点:同一页面经不同解析器处理后,可能落入完全不同的诊断桶。在《Attention Is All You Need》论文的超参数表格上,Fitz将13列坍塌为3个单元格,而Azure Document Intelligence干净地恢复了全部13列。

这意味着解析器选错了,后续操作再优化也白搭。作者建议先用廉价解析器,仅对困难表格升档——这个策略吸收了操作本会重复完成的工作,避免了不必要的计算开销。

五个可组合操作,覆盖完整升级路径

五个操作都是幂等的,无论以何种顺序组合都安全有效。O1从词级包围盒重建网格,处理部分解析;O2通过表头传播拼接多页续表;O3在检索前根据问题范围对表格进行投影和过滤;O4将频繁表格提升到列式存储以支持SQL查询;O5在万不得已时将表格区域渲染为图像供视觉LLM提取。

O5被刻意保留为高成本回退方案——只有当其他操作都失败时才启用。这种分层设计让系统在大多数情况下走廉价路径,只在真正困难时升级。

真实案例:从NIST到世界银行

文章用真实案例验证了这套框架。NIST网络安全框架PDF和世界银行CMO表格都展示了不同层级的处理效果。像"财产险的免赔额是多少"这样的问题,直接从Markdown行获取答案,像任何其他行一样检索、引用——混合内容文档中的大部分表格到这里就结束了。

这套方案的核心价值在于:它承认表格是布局产物而非数据结构,但拒绝接受"扁平化是唯一出路"的现状。通过诊断驱动操作组合,在最合适的抽象层级保留表格结构,让RAG系统在表格场景下也能给出可靠答案。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
宁德时代还真是站着说话不腰疼

宁德时代还真是站着说话不腰疼

财报时间
2026-09-04 08:33:31
500名内分泌科医生强调:只要确诊糖尿病,患者一定多关注这几点

500名内分泌科医生强调:只要确诊糖尿病,患者一定多关注这几点

今日养生之道
2026-09-01 10:29:06
“吉娜”太丰满了,穿低胸裙都兜不住好身材,我感慨郎朗真会选人

“吉娜”太丰满了,穿低胸裙都兜不住好身材,我感慨郎朗真会选人

蓓小西
2026-08-30 08:45:10
小米YU7月销跌破万台,年交付目标完成不足一半 “网红光环”不再

小米YU7月销跌破万台,年交付目标完成不足一半 “网红光环”不再

中车网评
2026-09-04 18:14:31
武大又踢铁板了!男博导“被保护”,小三女教授所面临的恐不单是开除

武大又踢铁板了!男博导“被保护”,小三女教授所面临的恐不单是开除

小鋭有话说
2026-09-04 21:33:05
《醒来》大结局看哭一片:赵前到死都不知道沈克希那晚经历...

《醒来》大结局看哭一片:赵前到死都不知道沈克希那晚经历...

东方不败然多多
2026-09-04 18:17:59
iPhone 18 Pro 即将发布!售价提前曝光,大幅度涨价

iPhone 18 Pro 即将发布!售价提前曝光,大幅度涨价

XCiOS俱乐部
2026-09-03 19:52:15
起义部队参加抗美援朝后接连放走敌人,军长曾泽生:情愿当炊事员

起义部队参加抗美援朝后接连放走敌人,军长曾泽生:情愿当炊事员

大运河时空
2026-09-03 17:15:03
拜仁考虑为皇马引援留有余地,2027年或放行奥利塞转会皇马

拜仁考虑为皇马引援留有余地,2027年或放行奥利塞转会皇马

福酱的小时光
2026-09-04 20:24:31
女篮世界杯官方:张子宇2米23本届最高,马里球员1米55最矮

女篮世界杯官方:张子宇2米23本届最高,马里球员1米55最矮

懂球帝
2026-09-04 15:47:06
非法收受财物3180万余元,四川省交通运输厅原副厅长宁坚一审获刑12年

非法收受财物3180万余元,四川省交通运输厅原副厅长宁坚一审获刑12年

新京报
2026-09-04 16:31:32
外媒:看完中国歼-16,埃及还想买24架“阵风”,并非歼-16不好,而是埃及想要歼-35

外媒:看完中国歼-16,埃及还想买24架“阵风”,并非歼-16不好,而是埃及想要歼-35

蓝星杂谈
2026-09-03 15:49:46
8小时工作制、周末双休,说不定这次就能落地了。

8小时工作制、周末双休,说不定这次就能落地了。

流苏晚晴
2026-09-04 18:30:16
从1.35亿到6100万,《牛来》票房断崖式下跌,观众们终于清醒了

从1.35亿到6100万,《牛来》票房断崖式下跌,观众们终于清醒了

影视高原说
2026-09-02 13:46:41
尊界“隔空关门”功能翻车?袁弘多次挥手车门没有反应,司机紧急救场:因为我挂档了

尊界“隔空关门”功能翻车?袁弘多次挥手车门没有反应,司机紧急救场:因为我挂档了

和讯网
2026-09-03 12:24:13
用我丈夫的经历劝告大家:普通家庭在40岁过后,能安安稳稳守着一份工作,真不要轻易辞职去创业

用我丈夫的经历劝告大家:普通家庭在40岁过后,能安安稳稳守着一份工作,真不要轻易辞职去创业

小马达情感故事
2026-09-04 18:40:08
何志勇无视“蓝白合”协议登记参选新竹市长,国民党:移送考纪会

何志勇无视“蓝白合”协议登记参选新竹市长,国民党:移送考纪会

海峡导报社
2026-09-04 16:54:05
英国公开赛,卫冕冠军意外出局,18岁新星爆冷,中国冠军遭逆转

英国公开赛,卫冕冠军意外出局,18岁新星爆冷,中国冠军遭逆转

林子说事
2026-09-04 08:17:01
张爱萍晚年时,儿子说他被称为邓小平的干将,他大怒:这是对我的侮辱

张爱萍晚年时,儿子说他被称为邓小平的干将,他大怒:这是对我的侮辱

帝哥说史
2026-09-03 23:01:40
杨瀚森赴美开启第二季!新赛季预测数据出炉:每36分钟13.9分7.6板

杨瀚森赴美开启第二季!新赛季预测数据出炉:每36分钟13.9分7.6板

罗说NBA
2026-09-04 17:42:22
2026-09-04 22:12:49
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
280文章数 71关注度
往期回顾 全部

头条要闻

浙江暴雨中被淹的鞋厂:泡水鞋一双曾卖20多现在半价

头条要闻

浙江暴雨中被淹的鞋厂:泡水鞋一双曾卖20多现在半价

体育要闻

小卡来去10首轮,快船7年彩礼一场空

娱乐要闻

古天乐公司欠债1.49亿

财经要闻

姚洋:刺激消费要守住两个“大西瓜”

科技要闻

OpenAI深夜王炸!GPT-6 Astra来了

汽车要闻

配备华为全家桶/20秒一键成床 启境GX7预售24.99万起

态度原创

手机
房产
数码
亲子
军事航空

手机要闻

受内存涨价影响,机构称2026年全球智能手机价格平均上涨15%

房产要闻

TOP10房企卖了350亿!海南楼市,最新榜单出炉!

数码要闻

海信IFA2026发布AI伴侣套系:覆盖厨房、洗护、空气等核心场景

亲子要闻

新脑子果然好用,程序刚输入就能执行了

军事要闻

美国最年轻的陆军部长越级告了防长的状

无障碍浏览 进入关怀版