Cleanlab推出新方案检测人工智能幻觉

Cleanlab推出了可信赖语言模型(TLM：Trustworthy Language Model)，这是生成式人工智能的一个根本性进步。该公司表示，它可以检测到大型语言模型(LLM)何时出现幻觉。伯克利研究小组副主任兼高级数据科学家Steven Gawthorpe博士称，可信语言模型是“我所见过的对LLM幻觉的第一个可行答案”。

生成式人工智能（GenAI）有望改变每一个行业和职业，但它面临着“幻觉”的重大挑战，LLM会产生不正确或误导性的结果。LLM给出的回应可能看上去令人信服。但这是正确的吗?它是基于现实吗?LLM没有办法确定。这使得用GenAI自动执行敏感任务几乎是不可能的。

缺乏信任是企业采用LLM的主要障碍。数十亿美元的生产力收益被阻挡在这种困境背后。Cleanlab可能是第一个破解它的公司。

Cleanlab的TLM结合了世界一流的不确定性估计、自动ML集成和量子信息算法，这些算法被重新用于通用计算，以增加对生成式人工智能的信任。它的API可以封装任何LLM，为每个响应生成可靠的可信度评分。

在LLM可靠性的行业标准基准测试中，TLM全面优于其他方法。它提供的性能不仅优越，而且始终保持优越，让企业有信心依靠生成式人工智能来完成重要的工作。

例如，企业可以使用TLM自动化客户退款流程，当LLM的响应低于预定的可信度水平时，就会引入人工审核人员。

“Cleanlab的TLM为我们提供了数千名数据科学家的丰富数据和加强LLM输出的能力，为我们的许多客户提供了10倍到100倍的投资回报率。与Cleanlab所做的相比，其他工具甚至不在同一竞争水平。”Gawthorpe说。

“Cleanlab的TLM是一个真正开创性的解决方案，可以有效地解决幻觉。”Lightning.ai的人工智能工程师Akshay Pachaar补充道。“集成了Cleanlab的可信度评分，改变了人工循环工作流程，实现了高达90%的自动化。它不仅每周节省数百小时的人力，而且提高了我们处理大量数据集的效率，以进行数据充实、文件和聊天日志分析以及其他大规模任务。它有可能彻底改变我们管理数据和从数据中获取价值的方式。”

除了使LLM更值得信赖之外，TLM也使LLM更准确。它的功能就像一种超级LLM，检查LLM的输出，以提供比LLM自己更好的结果。在比较GPT4和GPT4 + TLM的准确率的基准测试中，GPT4和TLM的组合每次都优于GPT4本身。这使得TLM非常适合以下场景:

RAG(检索增强生成)：为LLM提供更可靠的上下文；

商业聊天机器人：准确回答客户和员工的问题；

数据提取：从pdf中提取复杂信息；

证券分析：扫描股票评论，寻找最强的买入信号。

与Cleanlab的其他产品一样，TLM源于创始人对人工智能数据集不确定性的开创性研究。该公司首席执行官Curtis Northcutt花了八年时间与量子计算机的发明者合作，了解如何从任意数据中提取可靠的计算。其首席科学家Jonas Mueller领导了AutoGluon的开发，这是AWS的开源和行业标准Auto-ML平台。其首席技术官Anish Athlaye是世界上最著名的机器学习开发人员之一，他的个人项目在GitHub上拥有超过30,000颗星。

亚马逊网络（AWS）、谷歌(Google)、摩根大通(JPMorgan Chase)、特斯拉(Tesla)和沃尔玛(Walmart)等财富500强企业都在使用Cleanlab的技术来改进数据输入。现在，Cleanlab正在将同样的专业知识应用于LLM的产出——其经济意义甚至更大。

Cleanlab首席执行官Curtis Northcutt表示:“这是企业生成式人工智能的一个转折点。““增加对LLM的信任，将改变人们对LLM使用的考量。我们总会有某种形式的幻觉。不同的是，现在我们有一个强大的解决方案来检测和管理它们。这意味着企业可以为以前无法想象的用例部署生成式人工智能，并解锁重要的新生产力和收入来源。”

Cleanlab由三位麻省理工学院计算机科学博士于2021年创立，通过将不可靠的数据转化为可靠的模型和见解，为数据驱动过程的每一个输入和输出增加了信任。Cleanlab的人工智能数据平台Cleanlab Studio可以自动发现和修复结构化和非结构化数据集中的错误，如视觉、文本和表格数据，并为数据点添加30多个质量/信任分数。它的可信语言模型(TLM)提供了第一种可靠的方法来评估LLM输出的可信度。

Cleanlab总部位于旧金山，作为福布斯人工智能50强公司之一，得到了Menlo Ventures、Bain Capital Ventures、Databricks Ventures、TQ Ventures、Samsung Ventures等领先投资者的支持，以及包括雅虎、GitHub、Mosaic和Okta等公司首席执行官和创始人在内的天使投资人的支持。