网易首页 > 网易号 > 正文 申请入驻

知识图谱设计原理揭秘:可验证性与断言图谱的关系

0
分享至

大语言模型在文本生成和推理上的表现有目共睹,但对于从非结构化文本构建可靠知识图谱这件事,依然是个老大难。这个问题的根源在于:语言模型的运作机制与结构化知识提取的需求之间存在本质性的错位。



本文会介绍自动化知识图谱生成的核心难题:生成式模型为什么搞不定结构化提取,判别式方案能提供什么样的替代选择,生产级知识图谱的质量标准又是什么。

语言模型在知识图谱提取上栽跟头的原因

即使是当前最顶尖的模型,在结构化提取上也会翻车。这事儿不只是幻觉问题,而是语言模型生成文本的方式和知识图谱的需求之间存在根本性冲突。

生成式模型构建知识图谱时会有一连串的麻烦:实体消歧首当其冲,同一个实体换个说法出现,模型就可能认不出来,遗漏共指关系直接导致图谱碎片化;组合实体也很麻烦"墨西哥城"这种术语涉及嵌套概念(城市和国家),需要层级化表示;规模一大幻觉问题就压不住了,概率生成会编造出看着挺像那么回事但纯属虚构的实体和关系,在需要分段处理的长文本里这个问题尤其突出;还有上下文依赖,很多实体之间的关联只有看到完整文档才说得通,但把整个文档丢进去又会放大幻觉率。

吧i如说法律文档分析中,单个段落里模型把"甲方"识别成一个实体,转头又把"前述当事人"当成另一个实体——它们分明是同一个组织。这种段落级别的碎片化让生成的图谱噪声满满,导致后处理的工作量相当可观。

有人尝试切小文本块来压制幻觉,但是会出现关系丢失和实体重复。段落级别就已经有问题了——重要的实体关联可能跨越多个句子,激进地切到句子级别会把这些依赖关系彻底打碎。推理成本还会上去因为模型得跑好几遍才能处理完同样的内容。

上下文丢失随着窗口缩小而加剧。段落级别已经有麻烦,句子级别只会更糟

生成式架构的这些局限性引出一个问题:有没有更适合结构化提取的模型类型?

判别式模型 vs 生成式模型

判别式语言模型——基于掩码语言建模训练的双向注意力模型——在知识图谱提取上提供了一条不同的路径。

优势从何而来?判别式模型天生擅长 Token 和序列分类。命名实体识别可以直接建模为输入序列上的 Token 级分类任务,生成步骤压根不需要。

命名实体检测作为 Token 分类处理,根本不走生成流程

架构上的契合让判别式模型不仅在结构化提取上更准,效率也足够支撑边缘部署——一个 BERT 模型在普通硬件上就能跑,DeepSeek 可不行。

但是判别式模型需要在领域数据上做针对性微调,效果比生成式模型的用法强;生成式模型靠 Prompt 和少样本示例就能适应新任务,不用额外训练。

不管选那种方法成功的提取都得从扎实的基础开始。学术上管这个叫"断言知识图谱"(asserted knowledge graphs),它代表源文本的基准真值。需要迭代优化的时候,这个基础的价值就体现出来了。

断言知识图谱:可验证的基础

断言知识图谱只表示源文本里明确说了的东西——不做推理,不引入外部知识,有什么记什么。源就是文本本身,这个图谱就是该文档的可验证基准。

构建断言知识图谱涉及三个核心任务:实体识别负责找出人名、组织、日期、领域术语等关键片段并归类;关系提取要发现实体之间明确表达的连接;共指消解则是把指向同一实体的不同说法归并到一个节点上。

这些任务恰好落在判别式模型擅长的 Token 和序列分类范畴内,所以基于 BERT 的专用系统通常会分开处理它们。

但这种顺畅的流水线方法有个要命的问题:

这些任务通常串行执行:先提取实体,再检测关系,最后做共指消解。多阶段流水线的问题在于每一步都会积累误差。

实体识别 90% 准确率,关系提取 90% 准确率,乘起来只剩 81%,误差传播是现代方法转向端到端模型的直接原因

单个语言模型一次性生成完整图谱结构,可以规避链式专用模型的复合失败。哪怕每个专用组件在各自的子任务上表现更好,端到端方案的整体效果往往更优。

断言知识图谱是可验证的基线。下游任务需要额外信息,比如隐式关系、外部知识库连接、领域特定增强的时候,扩展是在可信基础上进行,不用质疑整个图谱的有效性。

生产系统里这一点至关重要。可解释性和调试都依赖于一个前提:知道哪些信息直接来自源文本,哪些来自推理或增强。

不过,光有这个可验证基础对很多实际应用来说还不够,还需要增强策略。

断言知识图谱的增强

断言知识图谱本身往往撑不起实际应用。从法律文档提取基准真相之后,反复碰到三个根本性限制:图谱里经常有孤立的实体簇,没有连接路径,遍历性很差;真实文档假设了一堆没明说的共享上下文,这部分隐式知识缺失严重;实体需要规范化到更广的知识库才能做下游集成,外部对齐需求绕不开。

这些缺口需要有针对性的增强策略来补。



下游任务经常能从一些易于自动生成的直观关系中获益,比如说"是一个"、"位于"、"属于"之类的词语。

层级关系的价值是非常大的,添加分类学连接可以把实体组织成本体论结构,比如建立 [雇佣合同, 是一个, 法律合同] 或 [甲方, 是一个, 公司],扁平的实体列表就变成了可导航的层级。

生成式语言模型在受限于预定义关系词汇表时可以胜任这种增强。放开限制的话幻觉风险会上升,而且模型容易退化成通用常识里那套标准层级关系丢失领域特异性。

基于规则的增强

逻辑规则是另一条路,从已有模式推断新事实,利用简单规则比如"如果实体 A 雇佣实体 B那么实体 A 是一个组织"可以把领域知识显式编码进去。

多跳规则能支撑更复杂的推理:"案件 A 违反了第 5 条,第 5 条属于法规 R,那么案件 A 也违反了法规 R。"链式推理可以大幅提升图谱连通性揭示隐式关系。



但是代价是基于规则的增强需要领域专家来定义有效的推理模式

规则不会泛化到专家编码之外的地方,但也不会编造出无效关系。正确性压倒一切的场景里这份可靠性非常靠谱的。

链接预测与知识库对齐

另外一种思路是在现有实体集里识别缺失关系,不加新节点就能提升图谱连通性。实现方式是在领域特定知识库上训练链接预测模型。

模型在 [实体 A — 关系 — 实体 B] 三元组上训练,学会判断任意两个实体之间是否存在关系,存在的话是什么类型

生成式语言模型也能通过 Prompt 预测缺失关系,不过幻觉风险更高,需要严格界定有效关系子集。



保留源上下文

还有一种增强方式是保留原始源结构。

创建代表文本片段的节点,句子、段落或整篇文档。实现方式有两种:把这些节点连接到相关实体上以提升整体连通性,或者构建嵌套层级,让高层文本节点包含从其内容中提取的子图

这种增强不会引入事实错误,因为表示的是源里实际存在的东西不是推断出来的新知识。

实体在多个上下文里出现时,来源节点能揭示单个实体连接里看不到的使用模式和语义关系。任何实体或关系都可以追溯到精确的源位置,不仅知道提取了什么还知道它来自哪里、出现在什么语境下。

更简单的实现可以在图谱构建期间直接在实体和关系节点上存源元数据(文档 ID、句子位置),省掉额外结构节点的开销。选择用元数据还是显式节点,取决于下游任务是否需要把文本片段本身当作可查询的图谱实体来处理。

主题聚类提升连通性

孤立组件对图谱遍历和全局查询始终是个问题,基于主题的聚类通过创建桥接节点来连接相关实体。

直接的做法是用预定义类别:在领域特定主题上训练分类模型(法律文档的话就是"劳动法"、"知识产权"、"合同纠纷"之类),然后创建主题节点,把每个类别下文档里的所有实体连起来。

这种方法可解释性好,对分类体系稳定的领域很适用

GraphRAG 这类更复杂的方案用层级社区检测算法在多个粒度上自动发现实体簇,计算开销会大一些。



用预定义分类还是自动发现,需要看领域是有成熟类别体系还是更适合新兴模式检测。

增强策略的选择

这里有一个最简单和直接的方案:用同一个生成式模型从基准真相图谱和原始文本中推断隐式实体和关系。

这种增强策略限定在预定义关系类型范围内,产生的知识图谱有效捕获了下游 GNN 分类任务所需的语义结构。

最优增强策略完全取决于下游应用。需要跨孤立组件做复杂推理的任务,聚类技术提供必要的连通性

分类或以实体为中心的任务,选择性推断隐式知识可能就够了。正确性优先于覆盖率的高风险领域,基于规则的方法保证可靠性。

增强前:

"甲方"(实体)

"雇佣合同"(实体)

添加分类学关系后:

"甲方" → [是一个] → "公司" → [是一个] → "法律实体"

"雇佣合同" → [是一个] → "法律合同" → [是一个] → "文档"

反复试下来会发现,最有效的方案往往不是直觉上那个:从断言基础开始,迭代增强,直到图谱能服务于预期目的。

总结

知识图谱提取的核心矛盾在于:语言模型擅长生成流畅文本,却不擅长输出结构化、一致、可验证的知识表示。理解这一点,才能做出正确的技术选型。

判别式模型在精度和效率上占优,但需要领域微调;生成式模型灵活性强,却要承担幻觉和碎片化的代价。两者并非非此即彼,关键是明确下游任务的需求。

断言知识图谱作为可验证基础的价值不可替代。在此之上叠加增强策略——分类学扩展、规则推理、链接预测、源上下文保留、主题聚类——根据应用场景组合使用,才能构建出真正可用的生产级知识图谱。

https://avoid.overfit.cn/post/767c139e559b44d0b467a925d5384841

作者:Fabio Yáñez Romero

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
外交部:叙利亚承诺不会允许任何实体利用叙利亚领土从事损害中国安全、主权和利益的活动

外交部:叙利亚承诺不会允许任何实体利用叙利亚领土从事损害中国安全、主权和利益的活动

环球网资讯
2026-01-22 15:58:33
《人民日报》:70%的病跟情绪有关!很多人被亲人给慢性折磨死的

《人民日报》:70%的病跟情绪有关!很多人被亲人给慢性折磨死的

诗词中国
2026-01-23 18:47:36
喀布尔血色巨响!塔利班当众撕毁承诺,瓦罕走廊或已成中国死局?

喀布尔血色巨响!塔利班当众撕毁承诺,瓦罕走廊或已成中国死局?

易昂杨
2026-01-21 12:09:06
确认了!是知名演员张嘉益

确认了!是知名演员张嘉益

看尽落尘花q
2026-01-04 11:55:44
中国女排联赛排名再度更新,天津被拉开差距,头号鱼腩岌岌可危

中国女排联赛排名再度更新,天津被拉开差距,头号鱼腩岌岌可危

两兄弟养牛
2026-01-24 21:35:50
看不上?日本人毫不关心决赛:保持一副玩的态度 网站无相关报道

看不上?日本人毫不关心决赛:保持一副玩的态度 网站无相关报道

风过乡
2026-01-24 10:06:49
牢A又抨击女留学生,遭女留学生现身说法反驳,网友:彻底不装了?

牢A又抨击女留学生,遭女留学生现身说法反驳,网友:彻底不装了?

趣笔谈
2026-01-24 09:10:48
理想汽车突然大降价

理想汽车突然大降价

科技头版Pro
2026-01-22 16:02:52
亲人在阴间真正缺少的东西,扫墓时火苗偏向你,是催你送3样东西

亲人在阴间真正缺少的东西,扫墓时火苗偏向你,是催你送3样东西

古怪奇谈录
2026-01-21 14:31:45
王楠没想到,她养大、不让打乒乓球的儿子,如今成全家的骄傲

王楠没想到,她养大、不让打乒乓球的儿子,如今成全家的骄傲

白面书誏
2026-01-24 19:33:09
1月24日周六:23家公司发重大利空,18家集体巨亏超400% 最高1900%

1月24日周六:23家公司发重大利空,18家集体巨亏超400% 最高1900%

股市皆大事
2026-01-24 09:31:05
数十万网友涌入,李亚鹏带货登总榜第一,90分钟销售额破5000万元,热度远超与辉同行!他关闭打赏,鞠躬致谢,提醒大家“理性购物”

数十万网友涌入,李亚鹏带货登总榜第一,90分钟销售额破5000万元,热度远超与辉同行!他关闭打赏,鞠躬致谢,提醒大家“理性购物”

每日经济新闻
2026-01-23 23:54:09
天呀,杜海涛竟然现成这样了,沈梦辰对他是真爱啊

天呀,杜海涛竟然现成这样了,沈梦辰对他是真爱啊

草莓解说体育
2026-01-07 01:43:18
在闲鱼上买东西能有多离谱?网友:这哪是闲鱼,这简直是黑市

在闲鱼上买东西能有多离谱?网友:这哪是闲鱼,这简直是黑市

夜深爱杂谈
2026-01-24 20:08:48
大龄剩女崩溃的瞬间是什么时候?网友:多年的舔狗突然结婚

大龄剩女崩溃的瞬间是什么时候?网友:多年的舔狗突然结婚

夜深爱杂谈
2026-01-20 18:56:34
美国专家直言:如果中国找到治愈癌症的方法,那将是我们的噩梦

美国专家直言:如果中国找到治愈癌症的方法,那将是我们的噩梦

牛锅巴小钒
2026-01-24 16:14:51
澳网男单16强出炉:辛纳阿卡德约兹维领衔,种子选手全包揽

澳网男单16强出炉:辛纳阿卡德约兹维领衔,种子选手全包揽

全景体育V
2026-01-24 21:31:34
陆挺建议逐渐将农民养老金上调至每月千元

陆挺建议逐渐将农民养老金上调至每月千元

经济观察报
2026-01-23 19:21:30
贾国龙彻底火出圈了!不仅在员工面前丢脸,还把脸丢到了人民日报

贾国龙彻底火出圈了!不仅在员工面前丢脸,还把脸丢到了人民日报

乐悠悠娱乐
2026-01-22 10:27:42
于文文这身材太绝了!露背吊带裙杀疯了,饱满曲线谁顶得住?

于文文这身材太绝了!露背吊带裙杀疯了,饱满曲线谁顶得住?

娱乐领航家
2026-01-11 00:00:03
2026-01-25 03:32:49
deephub incentive-icons
deephub
CV NLP和数据挖掘知识
1900文章数 1444关注度
往期回顾 全部

教育要闻

意外!10岁女儿凌晨还在赶作业,期末她忽然不想上学

头条要闻

张又侠、刘振立被查 解放军报发布社论

头条要闻

张又侠、刘振立被查 解放军报发布社论

体育要闻

当家球星打替补,他们在故意摆烂?

娱乐要闻

回归还是顶流 凤凰传奇将现身马年春晚

财经要闻

“百年老字号”张小泉遭60亿债务压顶

科技要闻

黄仁勋现身上海菜市场

汽车要闻

有增程和纯电版可选 日产NX8或于3-4月间上市

态度原创

手机
艺术
数码
游戏
家居

手机要闻

追觅首款手机狂揽亿元订单:自研芯片+模块化影像,硬刚华为小米

艺术要闻

634米!世界第一高塔:东京晴空塔建设纪实

数码要闻

UnifyDrive UC250/450 Pro家庭存储NAS发布,配置与价格曝光

梦幻西游珍宝阁拿下新出第一化生神衣,毅力帝300万帮贡求超越?

家居要闻

在家度假 160平南洋混搭宅

无障碍浏览 进入关怀版