AAAI 2025 | TrustUQA：统一结构化数据问答的可信框架

结构化数据问答(TableQA、KGQA、TKGQA 等)在学术界与工业界备受关注。结构化知识问答方法如NL2Query针对特定数据类型将问题转化为对应查询函数，这限制了实际场景中的通用性。随着LLM和RAG方法的发展，一些更加通用的方法被提出，但依然存在如下问题：

• 检索到无关知识或LLM训练参数本身导致导致LLM幻觉

• 将结构化数据暴露到第三方LLM中，可能产生隐私数据泄漏

• 通过结构化数据很难提供高质量的问题解释

因此，我们提出TrustUQA，统一结构化数据问答的可信框架，可以同时支持不同类型的结构化数据表示与问答，在提供可信的推理基础上最大程度避免数据泄露。

论文题目： TrustUQA: A Trustful Framework for Unified Structured Data Question Answering 论文链接： https://arxiv.org/abs/2406.18916 代码链接： https://github.com/zjukg/TrustUQA

一、方法

图1 TrustUQA流程图

TrustUQA的整体框架如图1所示，主要由三部分组成：

• 通过条件图（Condition Graph, 简称CG）实现结构化知识的统一表示。

• 提出两阶段查询函数实现结构化知识的统一推理与问答。

• 提出动态样例检索器进一步提升LLM生成查询函数的准确率。

条件图表示带标签的有向图 , 其中 为节点， 为条件三元组。条件图的定义如下：

• 对于节点： 有明确的语义信息, 如：实体(Earth)、关系(has friends)、属性(time)、数值(2024)

• 对于条件三元组：表示为，即 和 由于 相连。同时如果condition可以为空 表示 和 相连无需额外条件。

将不同结构化数据转换为条件图

• 对于表格，如图2所示，每行添加等于行顺序的序号，并为除了第一行以外的每个表格的值生成两个条件三元组，即

图2 表格转换为条件图

• 对于知识图谱，如图3所示，知识图谱中的所有元素都为条件图中的节点 ，其中条件三元组为

图3 知识图谱转换为条件图

• 对于时序知识图谱，时序知识图谱中的所有元素都为条件图中的节点，除知识图谱部分转换之外，还将起始时间、终止时间、时间等信息转换为条件三元组

通过两阶段查询函数实现结构化知识推理与问答。首先通过LLM生成一阶段查询函数，后通过预定义的规则将一阶段查询函数转化为二阶段可执行函数，得到问题答案。

在一阶段查询函数，我们设计如下搜索函数从条件图中搜索信息：

除上述搜索函数之外，我们还设计了集合操作函数及数值计算函数。

在二阶段查询函数，搜索函数将转化为以下可执行函数：

• ：返回 中的节点 ，默认情况下 表示所有条件事实

• ：返回满足 要求的 ，即 ( n o d e 1 , n o d e 2 , ?）

• 查询比较函数，返回True或False

表1 两阶段查询函数转化规则

两阶段查询函数转化规则如表1所示。

动态样例检索器

不同Few-shot样本对LLM的In-Context Learning影响明显，本文提出了动态演示检索器，从训练数据集 中检索与问题 的 个最相似的问题。具体来说，给定一个问题 ，我们使用文本编码器 将 和训练问题编码为向量，通过计算问题向量的相似度，并选择 个最相似的训练问题，其中 。之后，对训练问题迭代生成一阶段查询，如果查询结果与标记的答案一致，则将检索到的问题与对应查询作为少样本样例，提升LLM生成查询函数的准确率。

二、实验结果

我们选用gpt-3.5-turbo-0613作为基础模型进行试验，并选择SentenceBERT作为检索器，在三种结构化数据问答任务：表格问答（WikiSQL，WTQ）、知识图谱问答（MetaQA，WebQSP），时序知识图谱问答（CronQuestion）中5个数据集上进行试验，实验结果如下：

表2 表格问答实验结果

表格问答实验结果如表2所示，TrustUQA在WikiSQL数据集中表现优于其他统一的问答方法，但在WTQ中仍有差距。

表3 知识图谱问答实验结果

知识图谱问答实验结果如表3所示，TrustUQA在MetaQA下的表现有更强竞争力，但在WebQSP效果显著。

表4 时序知识图谱问答实验结果

时序知识图谱问答实验结果如表4所示，我们的方法在各类指标下均取得最优结果。

表5 消融实验

表5所示的消融实验分别对个模块进行消融，实验表明动态检索和两阶段查询函数的有效性。

图4 参数及效率分析

为进一步探索试验对超参的敏感性，图4为各个参数（样例数量、重试次数、自适应数量）及每个步骤时间的分析，进一步验证方法的高效性。

图5 错误分析

图5展示了在运行过程中的3种错误类型，其中出现错误类型最多的是查询生成错误。

图6 跨结构化数据问答分析

在文章最后，我们还探索了TrustUQA在混合结构化数据上的QA和跨结构化数据的QA方面的潜力。如图6所示，解答图中的问题依次需要用到表格、知识图谱、时序知识图谱中的数据，通过TrustUQA可以实现跨结构化数据的问答，证明TrustUQA跨结构化数据的问答的潜力。

三、总结与展望

在本文中，我们提出了名为TrustUQA的统一的结构化数据问答的可信框架，其基于一种全新的、通用的数据表示方法——条件图及两阶段查询函数。通过实验证明了TrustUQA在不同类型的结构化数据上的有效性，并展示了处理更一般和更具挑战性的场景的潜力。在未来，我们将探索混合结构化数据问答和跨结构化数据问答等更具挑战性的场景，使得更接近实际应用。

作者：张文，金龙‍‍‍ 来源：公众号【ZJUKG 】

llustration From IconScout By IconScout Store

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（

www.techbeat.net

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

melodybai@thejiangmen.com

或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈