提升AI可信度：MIT团队开发新工具对抗“幻觉”

尽管大型语言模型的能力令人印象深刻，但它们仍然远非完美。这些人工智能模型有时会出现“幻觉”，生成不正确或没有依据的信息来回应查询。

由于这个幻觉问题，模型的响应通常需要由人工审查员进行验证，尤其是在医疗或金融等高风险环境中。然而，验证过程往往要求人们阅读模型引用的长文档，这项繁琐且容易出错的任务可能会让一些用户望而却步，从而不愿意使用生成式 AI 模型。

为帮助人工验证者，MIT 的研究人员创建了一个用户友好的系统，使人们能够更快地验证大型语言模型的响应。这个名为 SymGen 的工具可以让 LLM 生成带有引用的响应，直接指向源文档中的具体位置，比如数据库中的某个单元格。

用户可以悬停在文本响应的高亮部分，以查看模型用于生成特定词汇或短语的数据。同时，未高亮的部分则显示需要额外关注以进行检查和验证的短语。

“我们让人们能够选择性地关注他们需要更加关注的文本部分。最终，SymGen 能够提高人们对模型响应的信心，因为他们可以轻松地仔细检查，以确保信息的可靠性。”电气工程与计算机科学研究生、SymGen 论文的共同第一作者 Shannon Shen 表示。

通过用户研究，Shen 和他的合作者发现，使用 SymGen 进行验证的时间比手动流程缩短了约 20%。通过使人们验证模型输出的过程更快、更简单，SymGen 有助于识别在各种实际应用中使用的 LLM 的错误，从生成临床记录到总结金融市场报告。

Shen 的论文合作者还包括共同第一作者、EECS 研究生Lucas Torroba Hennigen；EECS 研究生 Aniruddha “Ani” Nrusimha；Good Data Initiative 的主席 Bernhard Gapp；以及高级作者 David Sontag，EECS 教授、MIT Jameel Clinic 成员、计算机科学与人工智能实验室（CSAIL）临床机器学习组的负责人；还有助理教授 Yoon Kim，CSAIL 的成员。该研究最近在语言建模会议上进行了展示。

符号引用

为了帮助验证，许多 LLM 被设计为生成引用，指向外部文档，并提供语言基础的响应，以便用户进行检查。然而，这些验证系统通常是事后考虑的，并没有考虑到人们在筛选大量引用时所需的努力，Shen 说。

“生成式 AI 的目的是减少用户完成任务所需的时间。如果您需要花费数小时阅读这些文档，以验证模型的说法是否合理，那么在实际应用中生成的内容就不那么有帮助了。”Shen 表示。

研究人员从将要进行验证工作的人的角度来解决这个问题。

SymGen 用户首先向 LLM 提供可以作为参考的数据，例如包含篮球比赛统计信息的表格。然后，研究人员进行一个中间步骤，而不是立即要求模型完成任务，比如从这些数据生成比赛摘要。他们提示模型以符号形式生成响应。

在这个提示下，每当模型希望在响应中引用词汇时，必须写出数据表中包含该信息的具体单元格。例如，如果模型想在响应中引用“波特兰开拓者”这个短语，它将用数据表中包含这些词的单元格名称替换该文本。

“因为我们有这个中间步骤，使文本以符号格式呈现，我们能够实现非常精细的引用。我们可以明确指出，输出中每一段文本具体对应数据中的哪一部分。”Torroba Hennigen 表示。

SymGen 然后使用基于规则的工具解析每个引用，将相应的文本从数据表复制到模型的响应中。

“这样，我们知道它是逐字复制的，因此可以确保与实际数据变量对应的文本部分不会出错。”Shen 补充道。

简化验证

模型能够生成符号响应，是由于其训练方式。大型语言模型接受来自互联网的大量数据，其中一些数据以“占位符格式”记录，代码替代了实际值。

当 SymGen 提示模型生成符号响应时，它使用类似的结构。

“我们以特定的方式设计提示，以发挥 LLM 的能力。”Shen 补充说。

在用户研究中，大多数参与者表示 SymGen 使验证 LLM 生成的文本变得更容易。他们验证模型响应的速度比使用标准方法快约 20%。

然而，SymGen 的效果受源数据质量的限制。LLM 可能引用错误的变量，而人工验证者可能对此毫不知情。

此外，用户必须以结构化格式（如表格）提供源数据，以便输入到 SymGen。目前，该系统仅适用于表格数据。

展望未来，研究人员正在增强 SymGen 的功能，以便处理任意文本和其他数据形式。有了这个能力，它可以帮助验证 AI 生成的法律文件摘要的某些部分。他们还计划与医生一起测试 SymGen，以研究它如何识别 AI 生成的临床摘要中的错误。

这项工作部分由 Liberty Mutual 和 MIT 智能探索计划资助。

https://news.mit.edu/2024/making-it-easier-verify-ai-models-responses-1021