Oumi瞄准LLM“逐行扫描”幻觉

语言模型的输出时常与事实相悖，对于负有监管或安全责任的行业来说，这可能是一个严重的责任。这就是为什么开源人工智能实验室Oumi发布了HallOumi，这是一个逐行分析LLM反应的模型，对每个句子的事实准确性进行评分，并用详细的理由和引用来支持其判断。

Oumi今年早些时候推出了“人工智能的Linux”，将自己定位为一个完全开源的人工智能平台，用于开发基础模型，旨在为学术界和企业推进前沿人工智能。该平台是与美国和英国的13所大学合作开发的，其中包括加州理工学院、麻省理工学院和牛津大学等名校。

Oumi首席执行官Manos Koukoumidis和联合创始人兼人工智能研究员Jeremy Greer介绍了HallOumi背后的动机，并展示了它是如何运作的。

信任差距的开源解决方案

Koukoumidis表示，HallOumi背后的动机源于企业对透明和值得信赖的人工智能系统的需求不断增长，特别是在受监管的行业。从一开始，Oumi就将自己定位为一个完全开源的平台，旨在使企业和学术机构能够轻松开发自己的基础模型。但正是该公司最近推出后的兴趣浪潮突显了一个问题变得多么紧迫：幻觉。

金融和医疗保健等行业希望采用大型语言模型，但幻觉或没有事实支持的输出阻碍了它们的发展。问题不仅限于面向外部的应用程序。即使在内部用作数字助理或总结者，LLM也需要值得信赖。企业需要一种可靠的方法来确定模型的输出是否基于它所提供的输入，特别是在合规、财务分析或政策解释等关键用例中。

Koukoumidis说：“他们真的很关心（能否）信任这些LLM的能力，因为这些是关键任务场景。”

这就是HallOumi发挥作用的地方。HallOumi旨在在任何用户可以提供输入（如文档或知识库）和LLM生成的输出的环境中工作，它会检查该输出是否得到事实支持，或者是否产生了幻觉。

HallOumi的工作原理

HallOumi的核心旨在回答一个看似简单的问题：这种说法可信吗？Oumi将验证人工智能输出的任务定义为评估所生成的每条陈述的真实性，识别支持陈述有效性（或揭示其不准确之处）的证据，并通过将每条陈述与其支持证据联系起来来确保完全可追溯性。

HallOumi在构建时考虑了可追溯性和精确性，逐句分析响应。无论内容是人工智能生成的还是人工编写的，它都会根据用户提供的一组上下文文档来评估每个单独的断言。

根据Oumi的说法，HallOumi识别并分析了AI模型输出中的每个断言，并确定了以下内容：

所提供的上下文支持或不支持断言的程度以及置信度得分。这个分数对于允许用户在检测幻觉时定义自己的精确度/召回率权衡至关重要。

与声明相关的引用（相关句子），使人们能够轻松地只检查上下文文档的相关部分，以确认或反驳标记的幻觉，而不需要通读整个文档，因为整个文档可能很长。

详细说明为什么支持或不支持断言。这有助于进一步提高人类的效率和准确性，因为幻觉往往很微妙或细微。

除了正式命名为HallOumi-8B的主要生成模型外，Oumi还开源了一种重量更轻的变体：HallOumi-80B-Classifier。虽然Classifier缺乏HallOumi的主要优势，如每句话的解释和源引用，但它在计算和延迟方面明显更高效。这使得它在资源受限的环境中成为一种强有力的替代方案，在这种环境中，速度或规模可能超过了对更细粒度解释的需求。

HallOumi已经针对高风险用例进行了微调，在这些用例中，即使是微妙的不准确也会产生巨大的后果。它将每一项陈述都视为一项独立的主张，并明确避免对“普遍真实”或“可能”的情况做出假设，而是关注该主张是否直接基于所提供的背景。对基础的严格定义使HallOumi特别适合受监管的领域，在这些领域，对语言模型输出的信任不能被视为理所当然。

标记微妙和诽谤

HallOumi不仅可以检测到模型何时因误解而“偏离脚本”，还可以标记出具有误导性、意识形态倾向或可能被操纵的反应。Koukoumidis和Greer通过使用HallOumi来评估DeepSeek-R1（中国开发的广泛使用的开源模型）产生的响应，展示了HallOumi的能力。

HallOumi逐一标记了这些陈述，为每个句子分配了一个置信度分数，并解释了为什么所提供的文件不支持这些陈述。这种句子级别的审查是HallOumi与众不同的地方。它不仅可以检测断言是否基于源材料，还可以识别相关行（或其缺失）并解释其推理。

同样的逐行分析在一个更常规的法律例子中同样有效。当收到关于GDPR的多页文档时，LLM错误地表示该规定仅适用于企业，不包括非营利组织。HallOumi以精确的准确性做出了回应，确定了源文本第32行的确切条款，该条款明确指出GDPR也适用于非营利组织和政府机构。它为更正分配了98%的置信度分数，并对差异给出了明确的解释。

在演示之后，Koukoumidis指出，虽然某些模型的幻觉率可能正在下降，但问题并没有消失，在某些情况下，它还在演变。

HallOumi现在可供任何人使用

HallOumi现在可以在Hugging Face上作为一个完全开源的工具使用，以及它的模型权重、训练数据和示例用例。Oumi还提供了一个演示，帮助用户测试模型并探索其功能。这一决定反映了该公司更广泛的使命：使传统上被锁定在专有API和付费墙后面的人工智能工具民主化。

HallOumi使用LLaMA系列模型构建，并在公开可用的数据上进行训练，是一个案例研究，探讨了当开源社区拥有正确的基础设施时可能会发生什么。

Koukoumidis说：“有些人说，与OpenAI竞争毫无希望。”“但我们所展示的每一个领域，一个任务，只要有合适的工具，就可以构建比黑匣子更好的解决方案。你不必跪在OpenAI的脚下，向他们致敬，并说，‘你是唯一能构建人工智能的人。’”