特斯联大模型研发突破：聚焦长文本理解

　　近日，特斯联AI Lab联合中国科学院大学研究团队发布最新研究成果，提出JERR框架，通过三步策略，提升大语言模型（LLM）在长文本语境下的理解和推理能力。目前该论文已被NLP领域旗舰学术会议EMNLP收录，题为：Joint Enhancement of Relational Reasoning for Long-Context LLMs。

　　EMNLP（Conference on Empirical Methods in Natural Language Processing）由国际计算语言学协会（ACL）主办，自1996年起每年召开一次，是自然语言处理（NLP）领域的顶级国际学术会议之一，专注于基于实证方法的研究和技术。

　　团队此次录用的研究成果除应用于大语言模型本身外，在文献分析、合规审查、舆情监控、智能问答，等诸多现实场景中也具备广泛的应用前景——特别是医疗、法律、教育等专业垂直领域大语言模型常面临长文本处理、专业推理和可解释性挑战，JERR框架通过其创新设计，为这些模型提供了显著价值。

　　JERR 整体框架包含三个主要步骤：1）给定一个问题和一段长文本，首先提示大语言模型将文本切分成若干片段；2）随后，通过模型提示生成各片段的摘要，并基于这些摘要构建图；3）最后，利用 MCTS 算法在图上针对问题检索相关节点，再结合摘要进行推理，从而生成最终答案。

　　以下为论文摘要。

　　尽管大语言模型（LLM）已取得显著进展，但由于内存限制以及在处理复杂、长语境任务时能力的不足，它们在面对长上下文语境时仍表现不佳。此外，LLM 往往缺乏透明性，容易产生幻觉。

　　针对这些挑战，本文提出一种全新框架——JERR，旨在通过基于图的推理机制来增强大语言模型的长上下文语境理解能力。JERR 整合三大核心组件：摘要提取、图构建和关系推理。首先，通过策略化分块提取摘要，使模型能够更高效地总结并理解信息；其次，构建有向无环图（Directed Acyclic Graph, DAG）以消除冗余，确保逻辑一致性与清晰性；最后，引入蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS），帮助模型在复杂的推理路径中进行导航，从而生成更准确、可解释的输出。

　　该框架为大语言模型提供了一种全新方案，使其能够在扩展语境和复杂推理任务中实现更高的可靠性与透明性。实验结果表明，JERR 在 ROUGE 和 F1 指标上持续优于所有基线方法，并在 LLM-Rater 评估中击败GraphReader、GraphRAG等框架，获得最高分数。

JERR框架与GraphReader的对比一览