利用Amazon Transcribe,Bedrock和Bedrock知识库实现实时会议助理

有时会有人使用你不太熟悉的语言进行交谈，你很想获得他们说话内容的实时翻译，以确保你正确理解。

会议结束后，你通常希望获得一份会议总结，列出所有行动项目、负责人和截止日期，以便记录或发送给与会者。

现在我们新推出的示例解决方案Live Meeting Assistant (LMA)可以满足所有这些需求，并提供更多功能。

请观看以下演示，了解其工作原理。

在本文中，我们向你展示如何使用Amazon Transcribe、Amazon Bedrock和Amazon Bedrock知识库来使用LMA。

解决方案概述

LMA示例解决方案可捕获来自浏览器会议应用程序(目前支持Zoom和Chime)的扬声器音频和元数据，或者来自任何其他基于浏览器的会议应用程序、软话机或音频源的音频。它使用Amazon Transcribe进行语音转文本、利用Amazon Bedrock知识库根据你公司的文档和知识源进行上下文查询，并使用Amazon Bedrock模型生成可定制的转录见解和总结。

我们在GitHub仓库中提供了所有你需要的开源资源。你可以轻松地在亚马逊云科技账户中部署它。完成后，你会不明白以前是如何在没有它的情况下开会的!

LMA可以执行以下操作:

1. 带有说话人识别的实时转录- LMA由Amazon Transcribe ASR模型提供支持，实现低延迟、高精度的语音转文本功能。如果需要，你可以使用Amazon Transcribe的自定义词汇和自定义语言模型功能来教会它品牌名称和特定领域术语。
   
2. 实时翻译- 它使用Amazon Translate将每个对话片段可选地翻译成你选择的75种语言之一。
   
3. 上下文会议助理- 它使用Amazon Bedrock知识库从你的可信来源提供答复，以实时转录作为上下文进行事实核查和后续询问。要激活会议助理，只需说”好的，助理”，选择ASK ASSISTANT!按钮或在UI中输入自己的问题。
   
4. 按需生成会议总结- 只需在UI上点击一个按钮，就可以生成总结，这在有人加入较晚需要赶快跟上进度时非常有用。总结由Amazon Bedrock根据会议记录生成。LMA还提供了识别当前会议主题以及生成包含负责人和截止日期的行动项目列表的选项。你还可以创建自定义提示和相应的选项。
   
5. 自动总结和见解- 会议结束后，LMA会自动在Amazon Bedrock上运行一组大型语言模型 (LLM) 提示，对会议记录进行总结和提取见解。你也可以定制这些提示。
   
6. 会议录音- 如果在部署时启用了录音功能，音频会 (可选) 存储在Amazon S3中，因此你可以在会议结束后重播重要部分。
   
7. 会议清单- LMA会跟踪你所有的会议并提供可搜索的列表。
   
8. 浏览器扩展捕获来自流行会议应用的音频和会议元数据- 浏览器扩展可捕获会议元数据(会议标题和活跃说话人姓名)以及来自你(麦克风)和其他人(来自会议浏览器标签页)的音频。在撰写本文时，LMA支持Chrome浏览器扩展，以及Zoom和Chime会议应用程序(Teams和WebEx即将推出)。独立的会议应用无法与LMA一起使用，请在浏览器中启动你的会议。
   

你有责任遵守适用于录制会议和电话的法律、企业和道德限制。如果被禁止，请勿使用此解决方案来传输、录制或转录电话。

先决条件

你需要拥有一个亚马逊云科技账户和一个Amazon Identity and Access Management (IAM) 角色和用户，并对其授予创建和管理此应用程序所需资源和组件的权限。如果你没有亚马逊云科技账户，请参阅如何创建和激活新的Amazon Web Services账户?

你还需要一个现有的Amazon Bedrock知识库。如果你还没有设置，请参阅创建知识库。在你的知识库中添加内容，为LMA的上下文会议助理提供支持。

最后，LMA使用Amazon Bedrock LLM实现会议总结功能。在继续之前，如果你之前没有这样做过，你必须请求访问以下Amazon Bedrock模型:

1. Titan Embeddings G1 - 文本
2. Anthropic: 所有Claude模型

使用Amazon CloudFormation部署解决方案

我们提供了预构建的Amazon CloudFormation模板，可以在你的亚马逊云科技账户中部署所有所需资源。

如果你是开发人员并希望从代码构建、部署或发布解决方案，请参阅开发人员README。

完成以下步骤来启动CloudFormation堆栈:

1. 登录 Amazon Management Console。
2. 选择你想要的亚马逊云科技区域的Launch Stack打开Amazon CloudFormation控制台并创建新堆栈。

Region

Launch Stack

US East (N. Virginia)

US West (Oregon)

1. 对于Stack name，使用默认值 LMA。
2. 对于Admin Email Address，使用有效的电子邮件地址 - 你的临时密码将在部署期间发送到这个地址。
3. 对于Authorized Account Email Domain，使用你公司电子邮件地址的域名部分，允许同一域中的用户创建自己的新UI账户，或者留空以防止用户直接创建自己的账户。你可以输入多个域，用逗号分隔。
4. 对于MeetingAssistService，选择BEDROCK_KNOWLEDGE_BASE (目前这是唯一可用选项)。
5. 对于Meeting Assist Bedrock Knowledge Base Id (existing)，输入你现有的知识库ID (例如JSXXXXX3D8)。你可以从Amazon Bedrock控制台复制它。

1. 对于所有其他参数，使用默认值。

如果你以后想自定义设置，例如添加自己的Amazon Lambda函数、使用自定义词汇和语言模型来提高准确性、启用个人身份信息 (PII) 编辑等，你可以更新堆栈来配置这些参数。

1. 选中确认复选框，然后选择Create stack

主CloudFormation堆栈使用嵌套堆栈在你的亚马逊云科技账户中创建以下资源:

1. 用于存储构建工件和通话记录的 Amazon Simple Storage Service（Amazon S3）存储桶
2. 一个带有应用程序负载均衡器的 Amazon Fargate 任务，提供 WebSocket 服务器，运行代码以消费立体声音频流并转发到 Amazon Transcribe，发布转录片段在 Amazon Kinesis 数据流中，并创建并存储立体声通话记录
3. Kinesis 数据流，用于将通话事件和转录片段中继到丰富处理功能
4. LMA 资源，包括与 Amazon OpenSearch 服务和 Amazon Bedrock服务的解决方案 QnABot
5. Amazon AppSync API，提供 GraphQL 端点以支持查询和实时更新
6. 网站组件，包括 S3 存储桶、Amazon CloudFront 分发和 Amazon Cognito 用户池
7. 一个可下载的预配置浏览器扩展应用程序，适用于 Chrome 浏览器
8. 其他支持资源，包括使用最小权限最佳实践的 IAM 角色和策略、Amazon Virtual Private Cloud（Amazon VPC）资源、Amazon EventBridge 事件规则和 Amazon CloudWatch 日志组

堆栈部署大约需要35-40分钟。当所有资源都部署完成时，主堆栈状态显示CREATE_COMPLETE。

设置密码

部署完堆栈后，打开LMA网页用户界面并按照以下步骤设置密码:

1. 打开你收到的主题为”欢迎使用Live Meeting Assistant!“的电子邮件。
2. 在网页浏览器中打开邮件中显示的URL。你将被重定向到登录页面。

1. 邮件中包含一个生成的临时密码，你可以使用它登录并创建自己的密码。你的用户名是你的电子邮件地址。
2. 设置新密码。

你的新密码必须至少有8个字符长度，并包含大小写字母、数字和特殊字符。

1. 按照说明验证你的电子邮件地址，或选择Skip以稍后验证。

你现在已登录到LMA了。

你还收到了一封类似的电子邮件，主题为”QnABot Signup Verification Code”。这封邮件包含一个生成的临时密码，你可以使用它登录并在QnABot设计器中创建自己的密码。你只有在想要自定义LMA选项和提示时才需要使用QnABot设计器。你在QnABot的用户名是Admin。你现在可以设置永久的QnABot Admin密码，或者保存好这封邮件，以备将来需要自定义时使用。

下载并安装Chrome浏览器扩展

为了获得最佳会议流体验，请安装LMA浏览器插件(目前仅适用于Chrome):

1. 选择Download Chrome Extension下载浏览器扩展.zip文件 (lma-chrome-extension.zip)。

1. 右键单击并展开.zip文件(lma-chrome-extension.zip)，创建一个本地文件夹名为lma-chrome-extension。
2. 打开Chrome并在地址栏中输入 chrome://extensions。

1. 启用Developer mode
2. 选择Load unpacked，导航到lma-chrome-extension文件夹(你从下载中解压缩的那个)，然后选择Select。这将加载你的扩展程序。
3. 将新的LMA扩展程序固定到浏览器工具栏上，以便于访问 - 你将经常使用它来流式传输你的会议!

开始使用LMA

LMA提供两种流传输选项:

1. Chrome浏览器扩展- 使用它从浏览器会议应用程序流式传输音频和扬声器元数据。目前支持Zoom和Chime，但我们希望能够添加更多的会议应用程序。
2. LMA Stream Audio标签页- 使用它从你的麦克风和任何基于Chrome浏览器的会议应用程序、软话机或音频应用程序传输音频。

在下面的章节中，我们将向你展示如何使用这两种选项。

使用Chrome浏览器扩展来流式传输Zoom通话

完成以下步骤来使用浏览器扩展:

1. 打开LMA扩展程序并使用你的LMA凭据登录。

1. 在网络浏览器中加入或开始Zoom会议(不要使用单独的Zoom客户端)。

如果你已经加载了Zoom会议页面，请重新加载它。

LMA扩展会自动检测浏览器标签页中正在运行的Zoom，并填充你的姓名和会议名称。

1. 告诉其他参与者你即将使用LMA开始录制通话，并获得他们的许可。如果有人反对，请不要继续。
2. 选择Start Listening

1. 阅读并接受免责声明，然后选择Allow以共享浏览器标签页。

LMA扩展会自动检测并显示通话中的活跃说话人。如果你独自在会议中，请邀请一些朋友加入，并观察当他们说话时，他们加入会议使用的名称会显示在扩展程序中，并在LMA记录中标注了他们说的话。

1. 选择Open in LMA在新标签页中查看你的实时记录。
2. 选择你喜欢的记录语言，使用”OK Assistant!“唤醒词或Meeting Assist Bot面板与会议助理进行交互。

ASK ASSISTANT按钮会要求会议助理服务 (Amazon Bedrock知识库) 根据会议最近交互的记录建议合适的响应。效果因人而异，所以多加尝试!

1. 完成后，选择Stop Streaming结束LMA中的会议。

几秒钟后，自动生成的会议结束总结会显示出来，录音也可用。你可以在会议结束后继续使用机器人。

使用LMA UI Stream Audio标签页从你的麦克风和任何基于浏览器的音频应用程序进行流式传输

浏览器扩展是从支持的会议网络应用程序流式传输元数据和音频的最方便方式。不过，你还可以使用内置在LMA UI中方便的Stream Audio标签页，仅从任何基于浏览器的软话机、会议应用程序或其他正在Chrome浏览器中播放的音频源进行音频流式传输。

1. 在浏览器标签页中打开任何音频源。

例如，这可以是软话机(如Google Voice)、另一个会议应用程序，或者为了演示，你可以简单地在浏览器中播放本地音频录音或YouTube视频来模拟另一个会议参与者。如果你只是想尝试一下，请在新标签页中打开以下YouTube视频。

1. 在LMA应用程序UI中，选择Stream Audio (no extension)打开Stream Audio标签页。
2. 对于Meeting ID，输入一个会议ID。
3. 对于Name，输入你自己的名字(应用于来自你麦克风的音频)。
4. 对于Participant Name(s)，输入参与者姓名(应用于传入的音频源)。
5. 选择Start Streaming

1. 选择你之前打开的浏览器标签页，然后选择Allow进行共享。
2. 再次选择LMA UI标签页，查看你的新会议ID被列出，状态显示为In Progress

1. 选择会议ID打开详细信息页面，观看传入音频的记录，并根据你输入的参与者姓名进行归属。如果你说话，你也会看到你自己声音的记录。

使用Stream Audio功能可以从任何软话机应用程序、会议应用程序或任何其他在浏览器中播放的流式音频中传输音频，以及从你选择的麦克风捕获你自己的音频。在使用LMA或任何其他录音应用程序录制他人之前，请务必获得他们的许可。

处理流程概述

LMA是如何转录和分析你的会议的?让我们看看它的工作原理。下图显示了主要的架构组件以及它们在高层次上是如何组合在一起的。

LMA用户在浏览器中加入会议，启用LMA浏览器扩展，并使用LMA凭据进行身份验证。如果会议应用程序(如Zoom.us)受LMA扩展程序支持，则扩展程序会自动检测用户姓名、会议名称和活跃说话人姓名。如果会议应用程序不受扩展程序支持，那么LMA用户可以手动输入他们的姓名和会议主题，但无法检测到活跃说话人的姓名。

在获得其他与会者的许可后，LMA用户选择LMA扩展程序窗格上的Start Listening。将建立到预先配置的LMA堆栈WebSocket URL的安全WebSocket连接，并验证用户的身份验证令牌。LMA浏览器扩展程序将发送一条包含会议元数据(姓名、主题等)的START消息到WebSocket，并开始从用户的麦克风和包含其他与会者声音的传入音频通道流式传输双通道音频。扩展程序监控会议应用程序以检测通话过程中活跃说话人的变化，并将该元数据发送到WebSocket，从而使LMA能够使用说话人的姓名来标记语音片段。

运行在Fargate中的WebSocket服务器从传入的WebSocket流中消费实时双通道音频片段。音频被流式传输到Amazon Transcribe，并实时将转录结果写入Kinesis Data Streams。

每个会议处理会话将一直运行，直到用户选择LMA扩展程序窗格上的Stop Listening，或结束会议并关闭标签页。通话结束时，该功能会在Amazon S3中创建一个立体声录音文件(如果在部署堆栈时启用了录音)。

一个名为Call Event Processor的Lambda函数由Kinesis Data Streams提供数据，用于处理和可选地丰富会议元数据和转录片段。Call Event Processor与会议助理服务集成。LMA由Amazon Lex提供支持，使用开源QnABot on 亚马逊云科技解决方案基于FAQ提供答案，并作为向适当的AI服务发出请求的编排器。Call Event Processor还在通话结束时调用Transcript Summarization Lambda函数，从完整的记录中生成会议总结。

Call Event Processor函数与Amazon AppSync集成，以在Amazon DynamoDB中保存更改(变更)并向登录的LMA用户的Web客户端发送实时更新(方便地通过选择浏览器扩展中的Open in LMA选项打开)。

LMA Web UI资产托管在Amazon S3上，并通过CloudFront提供服务。身份验证由Amazon Cognito提供。

当用户通过身份验证后，网络应用程序会建立到Amazon Web Services AppSync API的安全GraphQL连接，并订阅接收实时事件，例如会议列表页面上的新会议和会议状态更改，以及会议详细信息页面上的新转录片段或更新的转录片段和计算分析。启用翻译时，网络应用程序还会与Amazon Translate安全交互，将会议记录翻译成所选语言。

从语音输入到网页实时更新的整个处理流程是事件驱动的，端到端延迟非常短，通常只有几秒钟。

监控和故障排除

Amazon CloudFormation会在相关堆栈的Events选项卡中报告部署故障和原因。有关常见部署问题的帮助，请参阅CloudFormation故障排除。请注意由于超过限制而导致的部署失败错误;LMA堆栈会创建一些受默认账户和区域服务配额限制的资源，如弹性IP地址和NAT网关。在排查CloudFormation堆栈故障时，请始终导航到任何失败的嵌套堆栈，查找报告的第一个嵌套资源故障，这通常就是根本原因。

Amazon Transcribe默认限制并发转录流的数量为25个，这意味着在给定的亚马逊云科技账户或区域中，LMA的并发会议数量上限为25个。如果你有很多用户并需要在你的账户中处理更多并发会议，请增加HTTP/2流的数量以用于流式转录。

LMA使用CloudWatch为每个组件提供运行时监控和日志:

1. WebSocket 处理和转录 Fargate 任务 - 在 Amazon Elastic Container Service (Amazon ECS) 控制台上，导航到集群页面并打开 LMA-WEBSOCKETSTACK-xxxx-TranscribingCluster 函数。选择任务选项卡并打开任务页面。选择日志并在 CloudWatch 中查看，以检查 WebSocket 转录器任务日志。
2. 呼叫事件处理器 Lambda 函数 - 在 Lambda 控制台上，打开 LMA-AISTACK-CallEventProcessor 函数。选择监控选项卡查看函数指标。选择在 CloudWatch 中查看日志，以检查函数日志。
3. Amazon AppSync API - 在 Amazon AppSync 控制台上，打开 CallAnalytics-LMA API。选择导航面板中的监控以查看 API 指标。选择在 CloudWatch 中查看日志，以检查 Amazon AppSync API 日志。

有关QnABot on Amazon Web Services for Meeting Assist的信息，请参阅Meeting Assist README和QnABot解决方案实施指南。

成本估算

LMA 通过使用 Fargate（2vCPU）和 VPC 网络资源提供 WebSocket 服务器，成本大约为每小时 0.10 美元（约每月 72 美元）。更多详情请参见 Amazon Fargate 定价。

LMA 是通过使用 QnABot 和 Amazon Bedrock 的知识库启用的。您可以创建自己的知识库，用于 LMA 以及潜在的其他用例。更多详情请参见 Amazon Bedrock 定价。QnABot 解决方案使用的额外 Amazon服务的成本大约为每小时 0.77 美元。有关更多详情，请参考 Amazon解决方案成本列表上的 QnABot。

剩余的解决方案成本基于使用量：

1. Amazon AppSync pricing
2. Amazon Bedrock pricing
3. Amazon Cognito Pricing
4. Amazon DynamoDB pricing
5. Amazon Lambda Pricing
6. Amazon S3 pricing
7. Amazon Transcribe Pricing
8. Amazon Translate pricing
9. QnABot on Amazon costs

5分钟通话的使用成本总计约为 0.17 美元，尽管这可能会根据选择的选项（例如翻译）、LLM 总结的数量和总使用量而有所不同，因为使用量会影响免费额度的资格和许多服务的量级定价。有关产生使用成本服务的更多信息，请参见以下内容：

要自行探索LMA的成本，请使用Amazon Web Services Cost Explorer或在Amazon Web Services Billing Dashboard上选择Bill Details查看按服务列出的当月支出。

自定义部署

在创建或更新堆栈时，使用以下CloudFormation模板参数来自定义你的LCA部署:

• 要使用您自己的 S3 存储桶进行会议录音，请使用呼叫音频录音存储桶名称和音频文件前缀。

• 要从成绩单中删除个人身份信息（PII），请将成绩单的内容编辑功能设置为 true，并根据需要调整成绩单 PII 编辑实体类型。更多信息请参见实时流中的编辑或识别 PII。

• 要提高技术和特定领域缩写词和行话的转录准确性，请将转录自定义词汇名称设置为您在 Amazon Transcribe 中已创建的自定义词汇的名称，或将转录自定义语言模型名称设置为之前创建的自定义语言模型的名称。更多信息请参见提高转录准确性。

• 要以美国英语以外的受支持语言转录会议，请为转录语言选择所需值。

• 要自定义转录处理，请根据需要将 Lambda 钩子函数 ARN 设置为用于自定义转录段处理的自己的 Lambda 函数的 ARN。更多信息请参见使用 Lambda 函数可选地提供转录处理的自定义逻辑。

• 要基于 Amazon解决方案上的 QnABot、Amazon Lex、Amazon Bedrock 和 Amazon Bedrock 知识库集成自定义会议辅助功能，请参阅会议辅助 README。

• 要通过配置 LMA 以调用您自己的 Lambda 函数自定义转录总结，请参阅转录总结 LAMBDA 选项。

• 要通过修改默认提示或添加新提示自定义转录总结，请参阅转录总结。

• 要更改保留期限，请将记录过期天数设置为所需值。在此期间后，所有呼叫数据将从 LMA DynamoDB 存储中永久删除。对此设置的更改仅适用于更新后收到的新呼叫。

LMA是一个开源项目。你可以派生LMA GitHub仓库、增强代码并向我们发送拉取请求，以便我们能够合并并分享你的改进!

更新现有的LMA堆栈

你可以将现有的LMA堆栈更新到最新版本。有关更多详细信息，请参阅更新现有堆栈。

清理

恭喜! 你已完成了使用亚马逊云科技服务设置实时通话分析示例解决方案的所有步骤。

当你完成此示例解决方案的试验后，请使用Amazon CloudFormation控制台删除你部署的LMA堆栈。这将删除部署解决方案时创建的资源。录音S3存储桶、DynamoDB表和CloudWatch日志组在堆栈删除后仍会保留，以避免删除你的数据。

实时通话分析:伴侣解决方案

我们的伴侣解决方案实时通话分析和代理助理 (LCA) 提供了联系中心(电话通话)而非会议的实时转录和分析功能。它与LMA有许多相似之处，实际上LMA是使用从LCA衍生的架构和许多组件构建的。

结论

Live Meeting Assistant示例解决方案为会议期间和之后提高生产力提供了灵活、功能丰富且可定制的实时会议协助方式。它使用Amazon Transcribe、Amazon Lex、Amazon Bedrock知识库和Amazon Bedrock LLM等Amazon AI/ML服务来转录你的会议音频并从中实时提取见解。

示例LMA应用程序是开源提供的，你可以将其用作构建自己解决方案的起点，并通过GitHub拉取请求为我们做出贡献以帮助我们改进它。浏览LMA GitHub仓库来探索代码、选择Watch以获得新版本通知，并查看README获取最新的文档更新。

对于专家协助，Amazon Web Services Professional Services和其他亚马逊云科技合作伙伴将随时为你提供帮助。

我们很乐意听到你的反馈。请在评论区告诉我们你的想法，或在LMA GitHub仓库的issues论坛中提出。