网易首页 > 网易号 > 正文 申请入驻

大语言模型赋能的古籍嵌套命名实体识别

0
分享至





江西地名研究

关注我们,获取更多地名资讯


摘要:文章针对古籍文本中普遍存在的嵌套命名实体识别难题,以及古汉语表达特殊、实体结构复杂和领域知识依赖程度高等问题,探索大语言模型在古籍嵌套命名实体识别任务中的应用效果,为古籍知识抽取与数字人文研究提供技术支撑。以《二十四史》为核心语料,构建覆盖人名、地名、官职和机构四类基础实体及16类典型嵌套结构的数据集,共标注5,100条古籍句子和7,851个嵌套实体实例。在此基础上,将基础实体识别、嵌套关系判定和复合实体生成过程转化为结构化指令,采用LoRA对通用大语言模型和古汉语领域大语言模型进行任务适配,并以基座大语言模型和GlobalPointer、W²NER、Pyramid等传统判别式模型作为基线,通过总体评测和分类评测考察模型的识别能力。实验表明,领域适配后的大语言模型能够有效识别古籍嵌套实体,其中Xunzi-Qwen1.5-14B取得最佳性能。相较于单纯扩大参数规模,领域知识适配更有助于提升模型对复杂嵌套结构和低频实体的识别能力。研究验证了领域大语言模型应用于古籍嵌套命名实体识别任务的可行性,为古籍知识抽取与数字人文研究提供了可复用的数据资源和技术参考。

关键词:嵌套命名实体识别;大语言模型;领域适配;数字人文


0引言

命名实体识别(Named Entity Recognition,NER)是自然语言处理领域的重要基础任务,旨在从非结构化文本中自动识别人物、地名、机构等具有特定语义类别的实体,为关系抽取、知识图谱构建等下游任务提供基础支撑。在数字人文研究快速发展的背景下,大规模古籍数字化资源不断积累,如何从海量古籍文本中自动抽取历史人物、地理空间、官职制度等关键信息,已成为古籍智能处理与历史知识组织研究的重要课题。与现代文本相比,古籍文本不仅存在古汉语词汇语法差异、异名同指、官职制度演变等问题,还广泛存在实体间相互嵌套的复杂现象,即一个实体内部完整包含另一个实体,形成层级化的实体结构。这种嵌套结构体现了古代汉语特有的知识组织方式和表达习惯,属于嵌套命名实体识别(Nested NER)的研究范畴。以 《二十四史》中“令河北都轉運使蹇周輔”一句为例,整体可视为“地名-官职-人名”构成的复合实体,其中又包含地名“河北”、官职“都轉運使”和人名“蹇周輔”等多个基础实体;“凤翔李茂贞”包含地名与人名嵌套结构,“太常博士羅畸”包含官职与人名嵌套结构。这些嵌套实体往往承载着重要的语义信息,准确识别其内部结构对于理解文本的深层含义至关重要。

传统序列标注方法建立在实体边界互不重叠的假设之上,难以表示实体间的包含关系。为此,研究者相继提出了层叠标注模型、超图模型以及基于跨度(Span)的建模方法,并进一步发展出GlobalPointer、W²NER、Pyramid等模型,其在通用领域数据集上取得了较好的识别效果。但古籍文本实体边界模糊、官职与地名高度复合、长尾实体比例高、深层嵌套频繁,现有方法在古籍场景的适用性与性能边界仍缺乏系统研究。大语言模型虽在知识理解与复杂推理上展现出较强能力并逐渐用于古籍信息抽取,但针对古籍嵌套命名实体识别的研究仍相对不足。

本文以“领域知识与层级化任务适配如何共同作用于大语言模型的古籍复杂嵌套实体识别”为核心问题,以《二十四史》为核心语料,围绕古籍嵌套命名实体识别开展系统研究。首先,构建古籍嵌套命名实体识别数据集,建立覆盖人名、地名、官职和机构四类基础实体及16类嵌套结构的标注体系。数据集共包含5,100条含嵌套实体的古籍句子和7,851个嵌套实体实例,在保留基础实体边界的同时表示实体之间的组合关系与层级结构,为古籍嵌套实体研究提供可复用的数据资源。其次,选取Qwen系列和荀子领域大语言模型开展微调实验,并以DeepSeek模型以及GlobalPointer、W²NER和Pyramid三种代表性嵌套命名实体识别模型作为对比基线,系统比较大语言模型与传统判别式模型在古籍嵌套命名实体识别任务中的表现差异,分析领域知识适配与模型规模对识别性能的影响。基于实验结果,本文进一步分析古籍嵌套实体的结构特征及其知识表达方式,并讨论领域大语言模型在古籍知识抽取场景中的应用潜力,以期为历史知识组织与数字人文研究提供经验依据。


1文献综述


1.1古籍命名实体识别研究


命名实体识别是古籍知识抽取的重要基础任务,其目标是从古籍文本中自动识别人名、地名、官职、机构等实体信息,为知识图谱构建、人物关系挖掘和历史知识组织提供支撑。由于古代汉语在词汇表达、语法结构以及命名习惯等方面与现代汉语存在显著差异,直接将现代文本命名实体识别方法迁移至古籍场景往往难以取得理想效果。

早期研究主要解决古籍专名线索难以被通用统计模型捕捉的问题。李娜将字词、词性和领域词典等人工特征用于方志实体识别,表明稳定的命名格式与领域词表能够为实体判定提供直接依据。这类方法的优势在于知识来源清晰、识别过程较易解释,但规则和词典通常与特定文献、时代及实体类型紧密相关。一旦语料或标注体系发生变化,原有特征便可能失效。

深度学习和预训练语言模型的引入,将研究重点转向上下文语义、多粒度结构与古汉语句法信息的联合建模。刘佳等利用预训练表示、上下文编码与标签转移关系识别藏医古籍实体;赵京胜等融合领域预训练表示、字词信息及不同感受野的语义特征;武帅等进一步引入触发词、关系词等句法线索,并考察小样本与跨典籍迁移。这些研究共同发现,古籍实体识别不能只依赖单一层面的字面表示,多粒度语义和显式句法知识有助于改善边界判断,尤其能补充模型对古汉语省略、倒装及复合表达的理解。不过,句法模板和特征体系若主要由单部典籍归纳,其泛化范围仍会受到文体与时代差异限制。

针对通用预训练模型缺乏古籍领域表征的问题,研究进一步从字形知识、领域语料和训练鲁棒性3个方面增强模型。郑旭辉等将汉字语义信息与象形视觉特征对齐,以利用古籍专名的构形线索;任乐等通过古籍语料增量预训练缩小通用语料与古籍语料之间的分布差异,并结合对抗学习提高模型对输入扰动的稳定性。相关研究说明,领域适配的价值在于重建模型对古汉语词义、专名形式和上下文关系的表征,而非简单增加模型复杂度。但其效果仍取决于领域语料规模、标注一致性和训练语料与应用语料的接近程度。

大语言模型使低资源古籍NER的研究问题由“如何训练专用识别器”扩展为“如何利用外部知识和生成能力弥补标注不足”。伊豪涵等把古籍知识库、检索增强生成与搜索反思机制结合,用外部知识支持零样本识别和结果修正;唐朝等则以大语言模型和古籍词典构建教师知识,将生成结果转化为半监督训练资源,再训练较小的抽取模型。前者强调推理阶段的知识检索与迭代校正,后者强调训练阶段的数据扩充与知识迁移。两类研究均表明,大语言模型能够降低任务对人工标注的依赖。总体而言,古籍NER已形成由人工知识、语义表示、领域适配到知识增强的发展脉络,但多数工作仍以边界互不重叠的实体为对象,对复合实体内部的包含关系关注不足。


1.2嵌套命名实体识别研究


嵌套命名实体识别旨在识别实体之间存在包含关系或重叠关系的复杂结构。由于同一文本片段可能同时属于多个实体,传统序列标注框架难以直接适用于嵌套场景。围绕这一问题,研究者提出了多种解决方案,相关研究大体可分为传统判别式方法和基于大语言模型的方法两类。

在传统判别式方法方面,早期研究主要通过扩展标签体系或构建层级结构解决实体重叠问题。Straková等利用LSTM-CRF模型将嵌套实体标签组合为复合标签,实现多标签分类;Shibuya等提出迭代式识别策略,通过递归识别不同层次实体实现嵌套结构抽取。嵌套结构可以通过标签重编码或分阶段解码转化为传统序列任务,因而易于复用成熟的序列标注技术。然而,复合标签会随实体类别和嵌套组合增加而膨胀,多轮识别还可能使边界错误逐层传递。随着研究深入,学者们转向基于层级结构、跨度和关系的建模范式。层级建模和跨度识别直接面向实体的组合结构与首尾边界。Ju等提出动态层叠神经网络,通过递归构建实体表示实现逐层识别;Wang等提出Pyramid模型,利用金字塔结构实现不同层级实体之间的信息交互;Yu等提出Biaffine NER模型,通过边界打分实现跨度预测;Fu等提出SpanNER模型,验证了跨度建模在深层嵌套场景中的优势。随后,苏剑林等提出GlobalPointer模型,通过引入旋转位置编码(RoPE)和全局指针机制,对所有候选跨度进行统一建模,缓解实体重叠带来的标签冲突问题,并成为当前嵌套命名实体识别任务中应用广泛的代表性模型之一。关系建模则把嵌套实体视为词语之间的结构关系,Li等提出W²NER模型,通过二维词对关系网格同时描述词语相邻关系与实体首尾关系,使同一框架能够处理非嵌套、嵌套及不连续实体。总体而言,基于跨度与关系的建模方法突破了传统序列标注框架的限制,已成为当前嵌套命名实体识别研究的主流技术路线。

随着大语言模型的发展,研究者开始探索利用其知识迁移能力和上下文理解能力解决嵌套命名实体识别问题。Zhou等基于大语言模型构建BioNNE系统,用于生物医学领域嵌套实体识别;Du等将机器阅读理解范式引入医学领域嵌套命名实体识别;Kim等比较零样本、少样本和指令微调等设置后发现,实体类别说明、嵌套现象描述和输出格式约束都会影响识别结果,而通用于一般推理任务的提示策略未必适合嵌套NER。Xu等则系统分析了大语言模型在零样本与小样本场景下的嵌套实体识别能力。相较于传统判别式模型,大语言模型在知识利用和复杂语义理解方面展现出较大潜力,但现有研究主要集中于生物医学、新闻文本等领域,针对古籍文本嵌套命名实体识别的研究仍相对有限。

综上,古籍命名实体识别研究已在多粒度表征、领域预训练、知识增强和检索增强等方面形成较为丰富的技术积累,研究对象主要集中于实体边界互不重叠的非嵌套识别任务。嵌套命名实体识别领域则形成了跨度建模、词间关系建模和层级结构建模等技术路径,相关研究多以现代汉语、英文和生物医学文本为实验对象,尚未充分关注古籍文本中地名、官职、机构与人物相互组合形成的层级结构。现有大语言模型研究也主要考察通用实体抽取能力,针对古籍嵌套结构的标注规则、任务指令和领域适配方式仍缺乏专门研究。因此,本文构建面向《二十四史》的嵌套实体标注体系,对古汉语领域大语言模型进行任务适配,并以传统判别式模型和基座大语言模型作为实验基线,用于考察领域知识、任务指令与嵌套识别表现之间的关系。


2研究方法


2.1总体框架


本研究包括数据构建、模型适配和性能评估三个环节(见图1)。首先,清洗《二十四史》文本,建立四类基础实体及其嵌套组合的标注体系,完成人工标注与格式转换;其次,将标注规则和层级关系转化为结构化指令,采用LoRA微调Qwen系列与荀子领域模型,并设置同源基座、DeepSeek-V3.2少样本及传统判别式模型基线;最后,以Micro和Macro层面的精确率、召回率及F1值开展总体评测,结合嵌套层级、实体类型和错误分析,考察领域知识与任务适配对识别性能的影响。


图1古籍嵌套命名实体识别研究框架


2.2数据集构建


2.2.1语料来源

本研究以《二十四史》为语料总体,重点选取《宋史》《旧唐书》和《新唐书》的相关篇章,并以其余史书经相同流程筛选所得的语料作为补充。3部史书对本文研究对象的代表性主要体现在体裁特征、历史跨度与实体分布3个方面。在体裁上,三者均为典型的纪传体正史,本纪、列传、志等内容较为完备,以人物活动、职官迁转、制度沿革和地理变迁为主要记述内容,人名、地名、官职与机构实体在叙事中相互关联,形成地名—官职、官职—人名、机构—官职以及地名—官职—人名等典型嵌套结构。在历史跨度上,三部史书涵盖唐宋两个重要历史时期,《旧唐书》《新唐书》对同一历史时期采用不同的编纂方式和语言表述,《宋史》则保存了更为丰富的职官制度、行政区划与机构沿革信息,有助于呈现不同历史语境中的实体组合形式。在语料分布上,3部史书共获得9,781个候选句,占候选语料总量的54.3%;其余诸史共获得8,237个候选句,用于补充不同朝代和篇章中的实体表达。为保证数据质量,本研究首先对原始文本进行清洗与预处理,去除标点异常、特殊符号及无效文本内容,并以句子为基本标注单元进行切分。随后采用人工筛选方式保留包含命名实体的信息片段,最终形成古籍嵌套命名实体识别语料库,为后续数据标注与模型训练提供基础数据支撑。具体数据如表1所示。


2.2.2标注体系

依据知识表达的重要性、嵌套结构的典型性和标注的可操作性,本文选取人名(Person,PER)、地名(Location,LOC)、官职(Office,OFI)和机构(Organization,ORG)四类基础实体。四类实体是古籍知识图谱、人物关系及职官制度研究的核心对象,承载《二十四史》中的人物活动、官员任免、地理隶属和机构沿革等信息,其组合具有较稳定的嵌套形式,类别之间具有相对清晰的语义边界。其中,人名包括本名、字、号、谥号及常见简称;地名包括古代行政区划名称及其简称;官职指具有明确行政职能和品秩的职务名称;机构指古代军政组织及其他正式组织名称。标注示例见表2。


《二十四史》中的嵌套结构形式多样,分布相对集中。本文在基础实体之上定义有限的嵌套类别体系,以覆盖主要实体组合模式并提高标注一致性。

从知识表达角度看,不同嵌套类型对应着古籍中稳定存在的历史叙事模式。例如,“凤翔李茂贞”体现了以地系人的纪传传统,“太常博士羅畸”则直接指向人物的社会身份,而更为复杂的“河北都轉運使蹇周輔”则封装了人物的地理归属、行政职务与个体三重核心语义。因此,对嵌套实体进行定义不仅是实体边界识别问题,更是对古籍知识结构的形式化表达。

本研究采用“由外向内、逐层拆解”的标注原则,即优先标注外层复合实体,再标注其内部包含的基础实体,以完整保留实体间的包含关系和层级结构。最终构建了由四类基础实体衍生形成的16类典型嵌套结构,涵盖双重嵌套与三重嵌套两种形式,其具体定义及示例如表3所示。


本研究采用开源文本标注平台Label Studio开展人工标注工作,研究团队依据统一标注规范完成实体标注,并通过交叉核验与结果复审相结合的方式对标注结果控制标注质量,标注示例见图2。


图2数据标注示例

本研究由2名数字人文方向研究生承担标注工作,二人均接受过人文学科与计算方法训练,熟悉古籍文本处理流程及数字化规范,全程参与人工标注、Label Studio平台标注与结果复审。标注过程分为第一轮人工标注和人工校对两个阶段,第二阶段在第一轮标注结果基础上进行查漏补缺与分歧修正。为检验标注结果的一致性,采用Cohen’s Kappa系数衡量第一轮人工标注与校对结果之间的一致程度。考虑到同一字符可能同时隶属于多类实体,先在字符层面对各实体类型进行二值化计算,再将同一层级下的实体类型合并计算整体Kappa系数,结果见表4。由表4可知,基础实体和两层嵌套实体的Kappa系数分别为0.942和0.917,均达到较高的一致水平;三层嵌套实体的Kappa系数为0.635,低于前两类。其差异主要来自三层嵌套实体样本较少,且标注时需要同时判定多层实体边界、类别与包含关系。针对校对中发现的边界偏移、类别分歧与层级遗漏,研究团队逐条复核并修正,以提高最终标注结果的一致性。


2.2.3数据集统计

在表1所列的18,018句候选语料基础上,依据研究任务进行人工筛选与标注,筛选标准包括:语句语义相对完整;包含至少一个由人名、地名、官职或机构构成的嵌套实体;实体边界、类别及层级关系能够根据上下文明确判定;语句包含较为充分的人物身份、职官任免、地理归属或机构关系等信息。经筛选,共保留5,100句作为最终数据集。数据划分以句子为基本单位,采用随机抽样方式,按照约“8:2”的比例划分训练集和测试集。其中训练集4,079条,测试集1,021条;由表5可知,数据集共标注得到33,555个实体实例,包括25,704个单实体、6,624个双重嵌套实体和1,227个三重嵌套实体。整体来看,单实体占比76.6%,双重嵌套实体占比19.7%,三重嵌套实体占比3.7%,表明数据集既保留了丰富的基础实体信息,又覆盖了较为复杂的嵌套结构。


从基础实体类型分布来看(见图3),官职名(OFI)数量最多,共9,549个,占单实体总量的37.1%;地名(LOC)和人名(PER)分别为8,103个和7,588个,占比分别为31.5%和29.5%;机构名(ORG)数量最少,仅464个,占比1.8%。这一分布与《二十四史》重视政治制度、官员任免及历史事件记载,而机构名称显性表达相对有限的特点一致。


图3嵌套实体分布

从嵌套实体结构分布来看,双重嵌套实体主要集中于地名-官职(LO)和官职-人名(OP)两类结构,数量分别为2,896个和2,483个,两者合计占双重嵌套实体总量的80%以上。这表明古籍中的嵌套现象主要来源于官员任职、辖区管理以及政治活动等历史场景。三重嵌套实体则以地名-官职-人名(LOP)结构最为典型,共919个,占三重嵌套实体总量的74.9%。此类结构同时包含地理空间、官职身份和人物信息,对模型识别实体边界及其层级关系提出了更高要求。

总体来看,该数据集以高频嵌套结构为主体、兼顾三重嵌套与低频组合;不同类型在样本规模与结构复杂度上的差异,为考察模型对高频模式、长尾类别及深层嵌套结构的适应能力提供了数据基础。


2.3模型与实验设置


2.3.1层级化结构指令构造

古籍嵌套实体识别需要同时判断实体语义、文本边界与内部层级。依据前述标注原则,本文将识别过程组织为基础实体识别、外层结构判定、内部层级拆解和结果校验4个环节,并将4类基础实体及16类嵌套模式写入任务指令。该设计以显式中间步骤呈现推理路径,使生成过程受到实体类别、允许组合和层级顺序的共同约束。具体而言,本研究将人工标注完成的古籍嵌套实体数据转换为指令微调所需的“指令-输入-输出”格式。其中,输入为待识别的古籍文本,输出仅保留统一的JSON实体结果。训练样本由外层实体逐步展开至内部实体,并在最终输出前核对实体文本、类别和层级关系,从而建立古籍语义表征与任务标注规则之间的对应关系。层级化结构指令示例见图4。


图4层级化结构指令微调数据示例

2.3.2实验模型

为考察通用预训练知识、古汉语领域知识及监督微调对古籍嵌套实体识别的作用,本文选取Qwen3-14B、Qwen3-32B、Qwen2.5-32B-Instruct、QwQ-32B和Xunzi-Qwen1.5-14B作为实验模型。前四者用于呈现不同通用基座模型的任务适配效果,Xunzi-Qwen1.5-14B则用于考察古籍语料继续预训练形成的领域知识与嵌套实体识别效果之间的关系。所有模型采用相同的训练数据、任务指令和LoRA微调策略。实验同时保留各模型的原始基座状态,通过微调前后的成组结果考察层级化指令与监督微调对实体边界判定、嵌套层级解析和结构化输出的影响。

2.3.3基线模型

为形成多层次实验参照,本文设置同源基座、生成式少样本和传统判别式3类基线。同源基线由Qwen系列与Xunzi-Qwen1.5-14B的原始基座模型构成,用于考察监督微调前后的性能变化;生成式基线采用DeepSeek-V3.2,并设置1-shot、3-shot和5-shot场景,用于分析上下文示例数量对任务识别效果的影响;判别式基线选取GlobalPointer、W²NER和Pyramid,分别代表跨度、词间关系和层级结构3种嵌套实体建模路径,并统一采用SikuBERT作为字级编码器。3类基线从任务适配、提示学习和专门结构建模3个角度,为大语言模型的实验结果提供参照。

2.3.4参数设置

实验采用LoRA(Low-Rank Adaptation)进行参数高效微调,在配备NVIDIA A800GPU的服务器上完成训练,使用AdamW优化器和交叉熵损失函数,主要参数见表6。


对于DeepSeek-V3.2,采用图4中统一提示词模板进行推理,并分别设置1-shot、3-shot和5-shot少样本学习实验。考虑到嵌套命名实体识别任务中存在明显的数据不平衡问题,本研究对GlobalPointer、W²NER和Pyramid等3种判别式模型采用统一的多标签稀疏交叉熵(Sparse Multilabel Categorical Cross-Entropy)损失函数进行训练。该损失函数最早由苏剑林等人在GlobalPointer模型中提出,其核心思想是将实体识别过程转化为正负样本之间的相对排序问题,通过同时提升真实实体跨度的得分并抑制非实体跨度的得分,有效缓解候选跨度数量远多于真实实体所导致的类别不平衡问题。

2.3.5评测指标

为客观评价不同模型在古籍嵌套命名实体识别任务中的表现,本研究采用命名实体识别任务中广泛使用的精确率(Precision,P)、召回率(Recall,R)和F1值(F1-score)作为评测指标。其中,精确率表示模型预测为实体的结果中真实实体所占比例;召回率表示数据集中真实实体被模型正确识别的比例;F1值为精确率与召回率的调和平均数,能够综合反映模型整体性能。其计算公式见式(1)-(3)。其中,TP(True Positive)表示正确识别的实体数量,FP(False Positive)表示错误识别的实体数量,FN(False Negative)表示未被识别的真实实体数量。


本文结合Micro与Macro指标进行评价,并以F1值作为主要比较依据。Micro指标汇总所有类别的TP、FP和FN后计算,反映总体性能,受高频类别影响较大;Macro指标分别计算各类别的精确率、召回率和F1值后取算术平均,各类别权重相同,用于考察类别间的识别均衡性及低频类型的表现。


3实验结果与讨论


3.1总体性能比较


表7按Micro-F1降序列出各模型的总体性能。5个经监督微调的大语言模型均优于DeepSeek-V3.2少样本基线,其中Xunzi-Qwen1.5-14B的Micro-F1和Macro-F1分别为0.874和0.687,均居首位。结合Micro-F1所反映的总体性能与Macro-F1所反映的类别均衡性来看,各模型的Macro-F1普遍低于Micro-F1,说明其对高频实体模式的识别相对充分,而在低频及复杂嵌套类型上的表现仍有不同程度的下降。


微调前,5个基座模型普遍呈现精确率高于召回率的特征,说明模型能够识别部分语义特征较为明显的实体,但实体发现范围相对有限。微调后,各模型的召回率明显提高,精确率与召回率之间的差距缩小,Micro-F1和Macro-F1同步上升。这一变化表明,结构化指令与监督样本强化了模型对实体类别、文本边界和嵌套层级规则的理解,使其能够在识别外层复合实体的同时输出相应的内部实体。监督微调在本任务中的作用主要体现为任务规则对齐,即将大语言模型已有的语言理解能力转化为按照特定标注体系执行实体发现和层级解析的能力。

Xunzi-Qwen1.5-14B在微调前后的变化最为突出,其Micro-F1和Macro-F1由微调前的较低水平转为微调后的最高水平。与微调后的通用Qwen模型相比,该模型在Macro-F1上的优势更为明显,说明其性能提升较多地体现在低频类型和复杂嵌套结构上。这一结果体现了领域知识向任务能力转化的过程。古籍语料继续预训练有助于模型形成古汉语词义、历史人物、地理名称和职官制度等领域语义表征,指令微调则进一步建立这些语义表征与实体类别、边界标准及嵌套规则之间的对应关系。二者的结合使模型能够利用历史语境判断实体属性,并按照本文的标注体系生成层级化结果。实验证明,领域适配程度与复杂实体识别效果呈现出较为清晰的对应关系。

DeepSeek-V3.2在1-shot、3-shot和5-shot条件下的Micro-F1和Macro-F1逐步提升,说明增加上下文示例有助于模型理解输出格式和部分实体组合规则。其提升集中于总体识别效果,长尾类型的Macro-F1增长相对有限。少样本提示通过局部示例向模型传递任务规则,监督微调在大量标注样本中反复建立文本特征与类别、边界及层级标签之间的联系,因此表现出更稳定的任务适配效果。对古籍嵌套实体识别这类标签数量较多、结构组合复杂的任务,提示示例适合快速迁移任务形式,监督微调更有利于形成稳定的层级识别规则。

GlobalPointer、W²NER和Pyramid在Micro-F1上保持了较强竞争力,说明跨度建模、词间关系建模和层级结构建模能够有效学习高频实体及常见嵌套模式。其中,Pyramid的Macro-F1相对较高,体现出层级结构建模对类别均衡性的作用。Xunzi-Qwen1.5-14B同时取得最高的Micro-F1和Macro-F1,其优势更多体现在低频类型和复杂结构上。两类方法由此形成不同的优势区间:判别式模型擅长从标注数据中学习稳定的结构模式,领域大语言模型则能够结合历史语境与任务指令处理表面形式变化较大的实体。


3.2不同嵌套层级下的性能分析


为进一步分析不同模型对复杂嵌套结构的识别能力,本文分别统计了微调后的模型、DeepSeek模型和传统判别式模型在单实体、双重嵌套实体和三重嵌套实体上的Micro-F1表现,结果如图5所示。


图5不同嵌套层级下各模型的Micro-F1对比

从实验结果可以观察到,随着嵌套层级的增加,各模型性能均呈现不同程度下降。单实体识别任务中,各模型普遍能够获得较高性能;进入双重嵌套场景后,实体边界重叠和层级关系增加使任务难度明显提升;而在三重嵌套实体识别任务中,由于需要同时识别多个实体边界及其内部包含关系,各模型均出现较大幅度性能下降。

三重嵌套实体的性能下降与数据稀疏、决策数量增加和层级错误传播有关。三重嵌套实体在数据集中的占比为3.7%,OOP、LOO等具体类型的样本更加有限,模型较难形成稳定的类型组合模式。从识别过程看,三重嵌套要求模型同时确定外层实体、内部子实体及其包含关系,任一层的边界或类别发生偏差,都会影响整个复合实体的匹配结果。例如,外层官职—官职—人名结构可能因为内部官职遗漏而降级为官职—人名结构。随着嵌套层级增加,模型需要协调的边界和类别决策随之增加,数据稀疏所带来的影响也会在层级展开过程中累积。

Xunzi-Qwen1.5-14B在不同层级上均保持较好的识别效果,其在三重嵌套实体上的下降幅度相对较小。深层嵌套实体通常由地名、职官、机构和人名等多种语义成分组合而成,表面结构的出现频率较低,实体成分之间的历史语义关系因而具有更高价值。古籍领域预训练形成的语义表征,有助于模型根据上下文判断地名、职官和人物之间的组合关系。

GlobalPointer和W²NER在双重嵌套结构上保持较高识别效果,说明跨度与词间关系建模能够较好地处理常见的边界重叠问题。进入三重嵌套场景后,模型需要进一步组合多组跨度关系,并保持内外层类型的一致性,识别性能随之下降。深层嵌套识别由此体现出三项相互关联的要求:准确定位实体跨度、判断各层语义类别、维持内外层结构一致。领域语义知识能够支持类别和组合关系判断,层级建模与结构约束则直接影响嵌套结构的完整输出。


3.3不同实体类型下的性能分析


为了进一步分析模型在不同实体类型上的识别能力,本文统计了各模型在基础实体与典型嵌套实体上的F1值,并采用热图形式进行展示,如图6所示。


图6不同实体类型下各模型的F1热力图

从基础实体来看,人名(PER)、地名(LOC)和官职(OFI)的识别效果整体较好。这主要是因为上述实体在《二十四史》中出现频率较高,训练数据较为充足,模型能够学习到相对稳定的上下文模式。其中,官职实体的识别准确率普遍较高,反映出古籍中官职名称具有较强的格式化特征和规律性。相比之下,机构实体(ORG)及部分低频嵌套实体的识别难度明显更高。由于机构实体在数据集中占比较低,且命名形式复杂多样,模型难以学习稳定的语义特征,因此整体表现相对较弱。

从嵌套实体类型来看,地名-官职(LO)、官职-人名(OP)等高频嵌套结构具有较好的识别效果。这些类型的组成方式较为稳定,模型可以根据地名、官职和人名之间的常见排列关系确定实体边界和组合类型。而包含3层结构的官职-官职-人名(OOP)、地名-机构-官职(LGO)等低频复杂类型同时包含多层边界与多种语义成分,训练样本数量有限,模型需要从较少实例中学习类型组合规则。不同嵌套类型之间的性能差异说明,嵌套实体识别的难度由样本频次、语义歧义和结构层级共同决定,其中低频类型受到3方面因素的叠加影响。

Xunzi-Qwen1.5-14B在多数实体类型上保持领先,其优势在低频实体和复杂嵌套类型上更为明显。这说明随着表面结构样本减少,领域语义知识在类别判定和实体组合中的作用逐渐增加。通用模型较多依赖训练数据中的形式模式,领域模型还可以利用古汉语词义、历史职官关系和地理语境判断实体属性,因此领域适配程度与复杂类型识别效果的关系比参数规模更加稳定。该结果也解释了Xunzi-Qwen1.5-14B在Macro-F1上的优势:领域知识提高了模型处理低频类别的能力,使不同实体类型之间的性能分布更加均衡。


3.4Xunzi-Qwen1.5-14B识别错误分析


为进一步考察指令微调后模型的实际错误表现,本文对Xunzi-Qwen1.5-14B的预测结果进行实体级统计。首先移除类型与文本边界均完全一致的正确实体;在剩余结果中,将文本相同但标签不同的预测归为类型/层级误判,将标签相同但文本边界存在包含关系的预测归为边界错误,其余未被预测的标注实体和无对应标注的预测实体分别归为漏识别和过度识别。同一语句可能包含多个错误实例,统计结果见表8。表8显示,模型共出现1,341个实体级错误事件。漏识别数量最多,共475个,占35.4%,且集中表现为复杂嵌套结构中内部子实体或子层级未被完整输出。例如,“司天監主簿苗舜臣”的标准结果包含OOP及其内部OO、OP结构,模型却将整体识别为OP,并遗漏“司天監”“主簿”和“主簿苗舜臣”等内部实体。该类错误说明,模型已经能够判断复合实体的整体语义,但整体识别与层级展开之间仍存在差距。外层结构往往具有较完整的上下文线索,内部官职或子层级则需要模型继续拆分边界并判断组合关系。深层实体中的每一次拆分都会增加新的边界和类别决策,内部层级因而更容易出现遗漏。


过度识别共386个,占28.8%,主要发生在单字简称、语境指代及具有实体表面特征的普通词语上。例如,“永新守將周安……執安以獻”中的后一个“安”被额外识别为独立人名,“帝”和“軍”等泛称也偶有被识别为官职或机构。此类错误表明,模型有时过度依赖局部词形,而未充分结合上下文判断相关文本是否属于本文标注体系中的独立实体。

类型/层级误判共283个,占21.1%,主要出现在地名、机构与官职语义交叉以及多层结构降级的场景。例如,“羽林虎賁中郎將”中的“羽林”被误判为地名,导致整体由OO误判为LO;“司天監主簿苗舜臣”则由OOP误判为OP。边界错误共197个,占14.7%,主要表现为遗漏职官修饰成分或将相邻成分纳入实体,如将“典農中郎將”识别为“農中郎將”,或将地名“武德”扩展为“武德殿”。古籍缺少显式词界、职官名称内部结构复杂以及部分词语兼具地名、机构和职官属性,是产生上述错误的重要原因。

预测结果均能够解析为JSON数组,99.9%的结果符合完整的type-text对象结构,说明指令微调已经使模型较稳定地掌握输出格式。另有1条记录存在字段缺失,11个预测文本无法在原文中连续匹配,主要表现为字符替换、成分删减或重复生成。总体而言,指令微调使模型形成了较稳定的结构化输出能力,但对深层嵌套拆解、语境指代、歧义类别和精确边界的处理仍需改进。后续可通过增加长尾嵌套样本和边界歧义样本进一步降低相关错误。


4结语

本文围绕古籍文本中的嵌套命名实体识别问题开展研究,构建了包含人名、地名、官职、机构四类基础实体及16类典型嵌套结构的古籍嵌套命名实体识别数据集,并将基础实体识别、嵌套关系判断和复合实体生成统一表述为生成式结构化输出任务,对多种大语言模型进行参数高效微调。相较于需要针对实体跨度和嵌套层级设计专门分类或解码结构的判别式方法,生成式识别可以采用统一的序列输出形式表示数量不定、边界重叠且层级不同的实体,并可借助自然语言指令统一说明实体类别、边界规则和层级拆解顺序,因而更便于接入领域知识、调整任务规则和扩展新的嵌套类型。

实验结果表明,监督微调是提升大语言模型古籍嵌套实体识别能力的关键环节。5个经过微调的大语言模型均明显优于DeepSeek-V3.2的少样本提示结果,说明仅依赖上下文示例难以充分掌握古籍实体的类别、边界和层级规则。Xunzi-Qwen1.5-14B取得最高的性能表现,在总体识别效果与类别均衡性之间表现出更好的平衡;传统判别式模型在高频实体上仍具有较强竞争力,但在低频类型和深层嵌套结构上的性能下降更为明显。结合层级、类型和错误分析可知,当前模型已经能够较稳定地生成可解析的结构化结果,并较好处理常见的单实体和双重嵌套实体,但对三重嵌套、低频组合、歧义类别和精确边界的识别仍不充分。

综合总体性能、嵌套层级、实体类型和识别错误的分析结果,可以将大语言模型的古籍嵌套实体识别过程概括为领域语义表征、任务规则对齐和层级结构生成三阶段相互衔接的环节。古籍语料继续预训练为模型提供古汉语词义、历史人物、地名和职官制度等语义知识;监督微调建立领域知识与实体类别、边界标准及嵌套规则之间的对应关系;生成式输出则将不同数量和层级的实体统一表示为结构化结果。Xunzi-Qwen1.5-14B微调前后的性能变化与这一过程相吻合,说明领域知识经过任务适配后能够更充分地作用于类别判断和层级解析。与此同时,伪嵌套、层级降级和边界偏移等错误表明,生成结构还需要实体包含关系、标签组合规则和原文跨度等约束提供支持。

从大语言模型的技术演进看,模型能力建设的重心已经由扩展预训练语料和参数规模、强化知识表征,逐步转向领域适配与指令对齐协同推进。领域自适应预训练通过特定语料强化专业语义表征;指令微调利用自然语言任务描述提升模型的任务遵循与迁移能力。这一演进可概括为由“知识化”向“知识化与指令化协同”发展。垂直领域大模型更是在参数规模相对局限的条件下,由预训练与后训练共同塑造。由此,古籍领域大模型的后续建设可同时推进高质量领域语料积累与任务指令构造,并在固定参数预算下协调两类知识的作用重心,为面向古籍知识抽取等任务提供先验知识。

本研究仍存在一定局限。首先,数据来源主要集中于《二十四史》,语料类型以纪传体史书为主,尚未覆盖方志、笔记、类书、奏议等其他古籍类型,不同文献体裁中的实体组织规律仍有待进一步考察。其次,错误分析进一步揭示了古籍嵌套实体识别仍需解决的具体难点:低频实体和三重嵌套样本稀少,容易造成内部层级漏识;职官、机构和地名之间存在语义交叉,容易引发类型或层级误判;古汉语缺少显式词界,单字简称、语境指代和连续职官组合容易导致边界偏移及伪嵌套式过度识别。

后续研究可围绕领域知识、长尾学习和结构约束3个方面展开。针对古今语义差异和类别歧义,可以利用古籍词典、职官沿革资料及历史知识图谱开展检索增强,为实体判断提供具体的历史语境;针对低频实体和深层嵌套结构,可以采用长尾重采样、困难负例、边界对比样本和分层训练,提高模型对少样本类型的识别能力;针对伪嵌套误判和多层级解析失真,可以将由外到内的层级拆解过程组织为分阶段生成,并加入实体包含关系、标签组合和原文连续匹配约束。

作者:叶文豪,何嘉诚,刘浏,杨帆

来源:《图书馆论坛》2026年9月30日

选稿:耿 曈

编辑:李 美 云

校对:欧阳莉艳

审订:宋 柄 燃

责编:杜 佳 玲

(由于版面内容有限,文章注释内容请参照原文)


微信扫码加入

中国地名研究交流群

QQ扫码加入

江西地名研究交流群

欢迎来稿!欢迎交流!

转载请注明来源:“江西地名研究”微信公众号

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
浙江一套老房卖出2.88亿元,两位买家“血拼”5小时,每分钟加价7位数

浙江一套老房卖出2.88亿元,两位买家“血拼”5小时,每分钟加价7位数

靓仔情感
2026-10-12 17:50:35
乌克兰一口气准备了五套“停战方案”,里面唯独不包括中国提出的

乌克兰一口气准备了五套“停战方案”,里面唯独不包括中国提出的

林子说事
2026-10-12 14:51:37
恩昆库丨德甲戴帽+6场4球2助

恩昆库丨德甲戴帽+6场4球2助

米兰圈
2026-10-12 09:14:41
日本记者用英文提问,林昀儒在北京坚持用中文回答,网友:一家人

日本记者用英文提问,林昀儒在北京坚持用中文回答,网友:一家人

风过乡
2026-10-12 07:57:04
历届10位飞天奖影帝演技排名,李幼斌第7,焦晃第3,第1众望所归

历届10位飞天奖影帝演技排名,李幼斌第7,焦晃第3,第1众望所归

青杉依旧啊啊
2026-10-12 14:12:00
10月得罪不起!3大生肖走势走高,路路通顺,喜事一桩接一桩

10月得罪不起!3大生肖走势走高,路路通顺,喜事一桩接一桩

人閒情事
2026-10-12 15:20:34
床车过夜正在流行,但没人告诉你:最难熬的不是电,是这四道坎

床车过夜正在流行,但没人告诉你:最难熬的不是电,是这四道坎

三农老历
2026-10-11 07:16:57
支持率仅4.3%!知道自己提前淘汰后,郑丽文要为两岸关系定方向?

支持率仅4.3%!知道自己提前淘汰后,郑丽文要为两岸关系定方向?

攒一兜星星
2026-09-03 06:21:08
上甘岭坑道最禁忌的一夜:17岁女卫生员用嘴吸出战友尿液,秦基伟回忆录曝光真相

上甘岭坑道最禁忌的一夜:17岁女卫生员用嘴吸出战友尿液,秦基伟回忆录曝光真相

纪史行者
2026-10-08 05:10:03
日租从500跌到50块无人租,网约车租赁行业,彻底崩塌了

日租从500跌到50块无人租,网约车租赁行业,彻底崩塌了

流苏晚晴
2026-10-11 16:48:24
少吃发物少生病,5 种发物是结节催化剂,再馋也要管住嘴

少吃发物少生病,5 种发物是结节催化剂,再馋也要管住嘴

荷兰豆爱健康
2026-10-12 11:00:45
小米高管实测高速爆胎:160km/h、7人满载、同侧双轮爆胎,车辆稳停

小米高管实测高速爆胎:160km/h、7人满载、同侧双轮爆胎,车辆稳停

鞭牛士
2026-10-10 11:10:27
炸裂!女网红和男子开房,因动作太猛导致女网红腰部骨折,告上法庭索赔50万

炸裂!女网红和男子开房,因动作太猛导致女网红腰部骨折,告上法庭索赔50万

小徐讲八卦
2026-09-17 09:49:48
折叠iPhone还没发布,开发者已经玩疯了

折叠iPhone还没发布,开发者已经玩疯了

摸鱼算法
2026-10-11 00:04:10
詹俊:安德森+恩佐与曼联后腰对比明显,预计曼城枪手争冠到最后

詹俊:安德森+恩佐与曼联后腰对比明显,预计曼城枪手争冠到最后

画夕
2026-10-12 16:18:03
论老师骂人水平有多高,网友:骂得难听但还是想笑

论老师骂人水平有多高,网友:骂得难听但还是想笑

康富贵碎碎念
2026-10-12 14:31:44
几乎全是假货!利润高达2400%,为何消费者还前赴后继争相购买?

几乎全是假货!利润高达2400%,为何消费者还前赴后继争相购买?

星星跌入梦里中
2026-09-26 05:47:11
2026武网正赛首轮上演金花德比,王曦雨直落两盘击败王欣瑜晋级

2026武网正赛首轮上演金花德比,王曦雨直落两盘击败王欣瑜晋级

极目新闻
2026-10-12 22:10:14
中国女人很争气!女副市长3小时奔波28公里 为王曼昱郑钦文颁奖

中国女人很争气!女副市长3小时奔波28公里 为王曼昱郑钦文颁奖

念洲
2026-10-12 14:59:07
云南一老人替孙子尝“白桃饮料”后口腔食道灼烧,仔细一看竟是洁厕慕斯,被紧急送医洗胃:包装很像饮料,万幸没给孩子喝

云南一老人替孙子尝“白桃饮料”后口腔食道灼烧,仔细一看竟是洁厕慕斯,被紧急送医洗胃:包装很像饮料,万幸没给孩子喝

大风新闻
2026-10-12 12:23:23
2026-10-12 23:12:49
江西地名研究 incentive-icons
江西地名研究
分享地名研究信息、行业资讯。
3562文章数 316关注度
往期回顾 全部

科技要闻

尊界:10月底确认制动踏板支架升级方案

头条要闻

8千元小狗遭仅退款 商家驱车600公里上门顾客称狗已死

头条要闻

8千元小狗遭仅退款 商家驱车600公里上门顾客称狗已死

体育要闻

一周吃6顿披萨的胖子,也能单防姆巴佩?

娱乐要闻

张艺谋身体状况曝光 陈婷不再顾及体面

财经要闻

尊界,是江淮的救命车还是失血引擎?

汽车要闻

小鹏G9L巴黎车展全球上市 法国市场售价74990欧元起

态度原创

亲子
数码
教育
家居
公开课

亲子要闻

两个宝宝笑得很开心,妈妈对此感到疑惑,网友:是觉得对方好笑吗

数码要闻

CMF“牛奶盒”音箱发布:S / M双款,支持3D打印DIY

教育要闻

“鞋这么脏,家教也不咋样!”学校午睡被吐槽,男孩家长百口莫辩

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版