使用亚马逊云科技服务构建生成式AI代理

关键字: [Amazon Bedrock, Cloud Technology, Generative Ai, Amazon Bedrock, Customer Data Sources, Dynamic Experience, Natural Language Dialogue, Chain Of Thought Reasoning, Retrieval Augmented Generation, Contextual Generation, Conversation Buffer, Business Workflow Fulfillment, Loan Application Process, Multi-Channel Interaction, Amazon Lex Integration]

本文字数: 400, 阅读完需: 2 分钟

导读

演讲者展示了如何利用 Amazon Lex、Amazon Bedrock、Anthropic Claude V2 模型、Amazon DynamoDB 和 Amazon Kendra 构建一款生成式人工智能代理 (GenAI)。该代理能够进行自然语言对话、执行思维链推理、利用 Kendra 索引进行检索增强生成 (RAG)、访问客户数据源,并完成预定义的业务工作流程,如贷款申请。该演示展现了亚马逊云科技如何实现动态对话体验、情境生成,以及将大型语言模型与客户数据源相结合,从而提供更加个性化和及时的响应。

演讲精华

在亚马逊云科技上构建生成式AI代理的过程中,首先需要建立在现有的基于规则的Amazon Lex聊天机器人之上。与传统的只能通过静态决策树完成预定义意图的聊天机器人不同,GenAI能够利用Anthropic Claude V2模型在Amazon Bedrock上进行更加动态的对话交互。Amazon Bedrock是一个API驱动的无服务器平台,可以调用和微调基础模型,包括亚马逊自身创建的和其他第三方模型提供商的模型。

除了使用Amazon Bedrock上的Anthropic Claude V2模型,该解决方案还融合了Amazon DynamoDB和Amazon Kendra中的合成客户数据源,为用户提供更加个性化和动态的体验。以Any Company为例,该公司拥有一个Amazon Amplify托管的网站,其中嵌入了一个Amazon Lex聊天机器人。用户可以通过网络、短信或语音渠道与该代理进行互动。

GenAI代理能够进行思维链推理,通过一系列思考来决定是否需要利用工具,然后反复执行操作,直到形成最终答复。当用户询问”为什么选择Any Company?“时,代理会给出多个理由,如长期良好声誉、利率具有竞争力、产品种类丰富、银行服务便利以及财务状况良好,并引用anycompany.com的链接作为来源归属。

代理可以利用Amazon Kendra索引作为工具,该索引由两个数据源支持:一个包含Any Company常见问题文档的Amazon S3存储桶,以及配置为客户根域的Kendra网页爬虫,爬虫深度为3级。这允许代理执行检索增强生成(RAG),从而利用私有数据源来补充基础模型。当用户询问”当前的抵押贷款趋势是什么?“时,代理会利用RAG提供更新的数据源,如NerdWallet和Forbes,回答抵押贷款利率上升、联邦储备银行加息抑制通胀、再融资量很低、房地产销售放缓、可调利率抵押贷款越来越受欢迎以及贷款标准收紧等趋势。

代理还可以访问DynamoDB表来存储对话历史,从而进行上下文生成。当用户询问”他们的利率有多么有竞争力?“时,代理会根据对话历史和Kendra索引中的数据源,回答Any Company在存款账户利率、抵押贷款和房地产信贷利率和费用、信用卡利率、汽车贷款利率以及个人贷款利率等方面都具有竞争力,并进行总结概述。

对于一般知识问题,如”我应该使用哪种类型的抵押贷款?“,代理会直接利用基础模型回答,不需要使用RAG。代理会解释传统抵押贷款、FHA抵押贷款、VA抵押贷款、USDA抵押贷款和跳级抵押贷款等不同类型。

代理还可以通过响应卡完成预定义的业务工作流,如贷款申请。在此过程中,用户可以通过自然语言对话提供所需贷款金额、月收入、工作年限、信用分数、每月房租支出、债务和首付款金额等必要的输入信息。如果用户不清楚如何查询信用分数,代理会引导用户访问信用卡公司网站或ConsumerFinance.gov等渠道获取分数。在收集完所需信息后,代理会确认用户的贷款申请意向,并最终生成包含用户输入数据的Any Company抵押贷款申请文档供下载。

该解决方案架构显示,客户可以通过网络、短信或语音渠道与代理交互。Amazon Lex使用自然语言理解将用户输入映射到意图,然后通过Amazon Lambda函数进行意图履行,Lambda中的LangChain对话代理可以访问DynamoDB中的个人账户信息、对话历史和Anthropic Claude V2模型。RAG则通过Amazon Kendra索引实现,索引由FAQ文档和网页爬虫数据源支持。所有数据都保留在私有网络中,通过VPC终端节点从Lambda访问。

总之,演讲展示了如何在亚马逊云科技上构建一个融合了规则引擎、生成式AI和检索增强生成的智能对话代理,为客户提供个性化和动态的交互体验,涵盖从一般查询到复杂业务工作流的多种场景。

总结

该演示展示了一款由Amazon Lex、Anthropic 的 Claude V2 模型(部署在Amazon Bedrock 上)以及数据源如 DynamoDB 和 Kendra 驱动的对话式 AI 代理。该代理能够进行自然语言对话、提供上下文响应,并完成预定义的业务工作流程,如贷款申请。

该代理利用思维链推理来逐步处理查询,访问 Kendra 的网络爬取数据和 DynamoDB 的聊天历史记录,以进行检索增强生成。这使其能够提供与上下文相关的响应,并附有来源归属。该代理还可以使用基础模型单独处理一般知识查询。

通过响应卡片,该代理可以引导用户完成多步骤流程,如贷款申请,并通过自然对话收集必要的输入。该解决方案整合了网络、短信和语音渠道,实现了全渠道客户体验。总体而言,它展示了亚马逊云科技在构建各种业务用例的先进的、数据驱动的对话式 AI 代理方面的能力。

该架构结合了Amazon Lex 用于自然语言理解、使用 LangChain 的 Lambda 函数用于对话逻辑、Anthropic Claude V2 在 Bedrock 上用于语言建模、DynamoDB 用于聊天历史记录、以及 Kendra 用于从网络爬取的数据源进行检索增强生成。亚马逊云科技服务与第三方模型的协同,实现了复杂、上下文感知的 AI 代理,能够进行动态对话并完成复杂任务。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 -- 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。