清华大学牵头攻关！大模型幻觉治理取得关键突破

“基于我们研究团队提出的Hyper-RAG超图增强大模型，建立覆盖全尺度关联的领域知识库及知识超图谱，可以降低关键知识缺失60%，降低大模型幻觉48%。目前，这一成果已经在多个领域得到全面验证。”清华大学软件学院长聘副教授高跃近日受邀在中国环境科学学会学术年会上做主旨报告时介绍，“Hyper-RAG为缓解大模型幻觉问题提供了一种新的知识表示与解决范式。”

这是近期清华大学联合西安交通大学、上海大学、北京理工大学等机构在提升大语言模型可靠性研究方面取得的最新进展。高跃团队牵头提出一种超图驱动的检索增强生成方法Hyper-RAG，旨在缓解大语言模型在垂直领域应用中存在的“幻觉”难题，成效显著。相关成果刚刚发表于国际著名综合性期刊《自然·通讯》（Nature Communications）。这意味着我国科学家在攻克AI幻觉、驯服大语言模型“胡言乱语”的征途上，正在开启崭新篇章。

图为高跃团队探讨Hyper-RAG 解决模型幻觉原理

所谓“AI幻觉”，指的是大模型在面对环境治理、能源电力、医疗、法律、金融等垂直领域知识问题时，常常会生成偏离既定事实的回复或模糊不清的回答，从而带来潜在应用风险。

“大模型通过自监督学习，能够准确重建大部分的训练数据，但一部分信息在压缩过程中会发生扭曲或丢失，特别是高阶信息存在丢失风险。当其面对不确定的知识时，会用看似合理但实际不准确的内容来给出回答，这就是幻觉。”高跃随后在接受《中国能源报》记者采访时进一步解释。

检索增强生成，即RAG，是大模型在面对未知领域生成文本或者回答问题时要用到的一项核心技术。它的工作原理是检索大规模知识库中的相关信息，并利用这些信息来指导文本的生成，从而提高预测的可靠性和准确性。

高跃指出，传统RAG和现有基于图的RAG方法受限于实体间成对关系的表示方式，难以刻画多个实体同时参与的复杂高阶关联，例如多因素共同影响下的疾病机制、多证据链之间的关联关系以及多人物的同时交互等。这使得关键知识在结构化过程中被弱化甚至丢失，进而影响结果的完整性和生成内容的可靠性。“消除AI幻觉，其中最关键的突破口就在于对数据中关联信息、特别是容易丢失的高阶关联信息实现升维覆盖。”

图为高跃正在分析超图计算理论性能及应用场景

Hyper-RAG正是基于这一思想提出的，其将超图计算融入RAG框架，超图中的一条超边可以同时连接多个实体，能够同步覆盖原始数据中的成对低阶关联和群组高阶关联，从而构建更加全面、结构化的领域知识表示，最大限度减少知识结构化过程中的信息损失。Hyper-RAG通过超图结构实现相关知识的精准召回与扩散，为大语言模型提供更加丰富、完整的事实依据，也为医疗诊断、金融分析等高可靠需求应用提供有力支撑。

研究人员在覆盖神经科学、病理学、数学、物理学、法律、艺术等9个不同领域的数据集上开展实验，采用6个不同大语言模型、2种评估策略以及多维评价指标进行全面验证。结果表明，与现有基于图结构的RAG方法相比，Hyper-RAG基于超图计算突破传统方法难以全面建模高阶关联的桎梏，建立覆盖全尺度关联的领域知识库及知识超图谱，降低关键知识缺失60.7%，降低大模型幻觉48.5%，在多个任务中均表现出更优异的性能，有效捕捉复杂的多实体群组高阶关系，显著提升大模型的准确性与可靠性。

谈及下一步研发重点，高跃介绍，继Hyper-RAG近日发表于Nature Communications之后，研究团队将致力于不仅在RAG环节应用超图计算，还要将超图计算应用在大模型预训练和微调等各环节，最终构建出基于超图计算架构的原生高阶关联驱动的世界基础模型，在降低大模型幻觉、提升多模态生成的物理一致性、实现因果本质理解等核心问题上做出根本推进。

“我们认为这是一条打破人工智能黑箱，突破Scaling Law（规模化法则）瓶颈，通向AGI（通用人工智能）的可行路线。”高跃强调：“我们的目的是要构建一个跨领域通用的世界基础模型，下一步会进一步探索超图计算在能源环境领域，包括环境智能化管理、生物多样性的高阶协同建模、水质变化的高阶关联监测、大气污染的多因素协同溯源，以及绿色低碳转型、未来能源研发等领域的适用性，共同推动能源领域实现更好的数据治理。”（中国能源报记者 仝晓波）