为AI系统开发信任层

尽管围绕生成式人工智能（GenAI）的热潮持续不断，但研究表明，只有一小部分GenAI项目已经投入生产。一个重要原因是，组织担心大型语言模型（LLM）会产生幻觉并给出不一致的答案。如今，组织应对这些担忧的一种方式是为人工智能实施信任层。

生成模型非常强大，因为它们可以使用大量非结构化数据进行训练，然后根据它们从所述非结构化数据（文本、文档、记录、图片和视频）中“学到”的内容来回答问题。组织发现这种生成能力对于创建聊天机器人、数字助理，甚至可以自己处理基于语言的任务的半自主代理非常有用。

然而，LLM用户几乎无法控制预训练模型将如何响应这些问题或提示。在某些情况下，LLM会产生与现实完全脱节的疯狂答案。这种产生幻觉的倾向——或者正如NIST（美国国家标准与技术研究院）所说，虚构的倾向——无法完全消除，因为它与这些类型的非确定性生成模型的设计方式是固有的。因此，必须对其进行监测和控制。

组织可以防止LLM脱轨的方法之一是实现AI信任层。AI信任层可以采取多种形式。例如，Salesforce使用多种方法来降低客户对其爱因斯坦人工智能（Einstein AI）模型体验不佳的可能性，包括在提示阶段使用安全数据检索、动态接地、数据屏蔽、毒性检测和零保留。

虽然Salesforce Einstein信任层在Salesforce客户中越来越受欢迎，但其他组织正在寻找在与一系列不同的GenAI平台和LLM模型兼容的AI信任层。伽利略（Galileo）是构建独立人工智能信任层的供应商之一，该层可以在一系列平台、系统和模型上工作。

人工智能探索之旅

在2021年与工程师Atindriyo Sanyal和Vikram Chatterji共同创立Galileo之前，首席运营官Yash Sheth在谷歌工作了十年，在那里他为语音识别构建了LLM。早期接触LLM和与他们合作的经验教会了Sheth很多关于这些类型的模型是如何工作的——或者不工作，视情况而定。

Sheth在上个月re:Invent的一次采访中说：“我们看到LLM将解锁世界上80%的非结构化数据。”“但很难将这些模型适应或应用于不同的应用程序，因为这些是非确定性系统。与任何其他预测性的人工智能不同，生成式人工智能不会每次都给你相同的答案。”

Sheth和他的Galileo联合创始人很早就认识到，这些模型的非确定性将使它们很难在企业账户中投入生产，在隐私、安全和将个人声誉置于危险之中方面，企业的风险偏好低于快速行动和破局的科技公司。如果这些LLM要接触数千万人，并实现承诺的数万亿美元的价值，这个问题就必须得到解决。

Sheth说：“为了在应用于关键任务时真正降低风险，你需要有一个围绕它的信任框架，以确保这些模型在生产环境中按照我们想要的方式运行。”“从2021年开始，与自2022年底ChatGPT登陆以来出现的许多其他供应商相比，Galileo采取了一种根本不同的方法来解决这个问题。”虽然一些供应商很快将框架应用于传统的机器学习，但Galileo花了两年的大部分时间进行研究、发表论文，并开发了第一款专门为语言模型构建的产品Generative AI Studio，该产品于2023年8月推出。

Sheth说：“我们希望在研究中非常彻底，因为我们不是在构建工具，而是在构建适用于每个人的技术。”

减轻不良后果

Galileo构建人工智能信任层的方法的核心是另一个基础模型，该公司使用该模型来分析有争议的LLM的行为。除此之外，该公司还开发了一套自己的指标来跟踪LLM行为。当指标表明发生了不良行为时，它们会激活护栏来阻止它。

Sheth解释说：“其工作原理是，我们有自己的评估基础模型，这些模型是可靠的，每次都能给你相同的输出。”“这些模型可以在生产中大规模运行。由于其非确定性，你需要设置这些护栏。这些指标在生产中每次实时计算，低延迟，可以阻止幻觉，阻止不良结果的发生。”

Galileo套件目前有三个组成部分：评估，用于在客户的GenAI堆栈中进行实验；观察，监控LLM行为，以确保安全、高性能和积极的用户体验；，以及保护，它可以防止LLM对有害请求做出响应、泄露数据或共享幻觉。

Sheth说，总的来说，Galileo套件使客户能够信任他们的GenAI应用程序，就像他们信任使用确定性方法开发的常规应用程序一样。此外，他们可以在任何地方运行Galileo：在任何平台、人工智能模型或系统上。

他问道：“如今，软件团队几乎每天都可以发布或启动他们的应用程序。为什么这是可能的？”“20年前，在互联网时代，团队需要四分之一的时间才能推出下一个版本的应用程序。现在，你每隔几天就会在手机上收到一次更新。这是因为软件现在有一个信任层。”

人工智能信任层所涉及的工具与标准DevOps团队所使用的工具明显不同，这是因为技术从根本上不同。但Sheth表示，最终结果是一样的——它让开发团队放心，如果生产中出现问题，它会很快被发现，系统可以回滚到已知的良好状态。

获得GenAI的牵引力

自一年半前推出第一款产品以来，Galileo已经开始产生一些影响势头。该公司在《财富》100强中拥有少数客户，包括康卡斯特、Twilio和ServiceNow，并于7月与HPE建立了合作关系。它在10月份的B轮融资中筹集了4500万美元，使其风险投资总额达到6810万美元。

随着2025年的到来，对人工智能信任层的需求是显而易见的。企业正急于将他们的GenAI实验投入生产，但官员们只有在打磨掉一些粗糙的边缘后才能签字。Sheth坚信，Galileo有正确的方法来减轻非确定性人工智能系统的不良后果，并给予企业所需的信心来批准GenAI。

他说：“有一些我从未见过的传统人工智能的惊人用例。”“当关键任务软件开始被人工智能注入时，信任层会发生什么？你会回到软件的石器时代。这就是阻碍当今所有POC（概念验证）进入生产的原因。”