re:Invent：让生成式AI，训练、推理、应用全能一体

作者：王聪彬

如果说re:Invent第一天的重点是Amazon Nova，第二天的重点就是如何在模型之后进行训练、推理，并应用落地。

这对应的就是Amazon SageMaker、Amazon Bedrock和Amazon Q。

亚马逊云科技人工智能与数据副总裁Swami Sivasubramanian认为，现在我们正站在生成式AI的融合点上，这一进程虽然不总是清晰，但我们正被好奇心和解决客户实际问题的渴望驱使。

亚马逊云科技人工智能与数据副总裁Swami Sivasubramanian

SageMaker训练功能加速

Amazon SageMaker已经有已经有数十万名客户在使用，它已经是世界上用于构建、训练和部署ML模型的最受欢迎的服务。

在第一天的Keynote中，亚马逊云科技首席执行官Matt Garman讲述了下一代Amazon SageMaker，其将大数据处理、快速SQL分析、机器学习、模型开发以及生成式AI的关键能力集成于一个统一平台中。

Amazon SageMaker进化的步伐不会放慢，尤其是训练功能。

自去年以来，Amazon SageMaker发布的140多项新功能帮助客户更快更高效构建模型。尤其是生成式AI出现，亚马逊云科技知道客户需要新工具和功能支持模型训练和推理。

为减轻训练过程的复杂负担，亚马逊云科技推出Amazon SageMaker HyperPod。其具备先进的弹性能力，可实现集群在全栈故障时的自动恢复，同时提供快速检查点和主动计算资源管理功能，成为客户训练基础模型的首选基础设施。

Amazon SageMaker HyperPod flexible training plans灵活训练计划也是一个改变游戏规则的功能，简化模型训练计划管理。其能够快速创建训练计划自动预留容量，设置集群，创建模型训练作业，为数据科学团队节省数周训练时间。

Amazon SageMaker HyperPod task governance 任务治理功能，通过自动化生成式AI任务的优先级排序和管理，帮助客户最大化计算资源利用率，最多可降低40%的成本。

同时Amazon SageMaker合作伙伴AI应用支持功能，让合作伙伴的AI应用程序都可以部署在Amazon SageMaker，将帮助客户通过无缝、完全托管体验加速模型开发生命周期，无需预配或管理基础设施，数据永远不会离开Amazon SageMaker开发环境，实现了安全性和隐私性。

Amazon Bedrock一站式生成式AI解决方案

推理可以让基础模型走出实验室进入现实世界，改变行业，Amazon Bedrock就是为了帮助企业构建和扩展生成式AI应用程序。

现在Amazon Bedrock已经不仅仅是一个模型库，更是一种构建和扩展生成式AI应用最简单和最快速的方式。覆盖选择最佳的模型，优化成本、延迟和准确性，使用自有数据定制，确保安全性和负责任AI，构建和协调Agent五大能力。

在模型提供上，Amazon Bedrock将提供poolside、Luma AI的模型，同时将新增Stability AI的Stable Diffusion 3.5模型。

除了这些模型之外，Amazon Bedrock Marketplace还为用户提供了访问100多个来自领先提供商的100多个新兴和专业基础模型。用户可以通过Amazon Bedrock的统一API轻松调用这些模型，并结合知识库、智能防护和智能代理功能。

在成本、延迟和准确性上，Amazon Bedrock提示词缓存功能，能够降低延迟高达85%，成本降低高达90%。

Bedrock Intelligent Prompt Routing提示词智能路由功能，动态的将请求路由到最有可能以最低成本和最佳响应的模型，成本节省高达30%。

根据自有数据定制上，发布了Amazon Kendra GenAI Index，可以为RAG和Amazon Bedrock提供托管检索，支持对40多个企业数据源的连接器，简化RAG对企业数据源的连接。

Amazon Bedrock Knowledge Bases能够支持结构化数据检索支持，简化RAG对各类结构化数据的使用。Amazon Bedrock Knowledge Bases能够支持GraphRAG，增强RAG对知识图谱的集成。

Amazon Bedrock Data Automation自动化非结构化多模态数据的转换为结构化数据。

在确保安全性和负责任AI上，Amazon Bedrock Guardrails Multimodal toxicity detection进行基于策略的图片恶意内容检测，增强多模态应用安全。

构建和协调Agent上，从本周开始Amazon Bedrock开始支持多智能体协作，使构建和协调专门的智能体来执行复杂工作流程变得容易。

Amazon Q生成AI小助手

Amazon Q Developer即是你的亚马逊云科技专家，也是最有能力的软件开发生成式AI助手。

现在Amazon Q Developer可以在SageMaker Canvas中的支持，通过自然语言开发ML模型，特别可以帮助在机器学习模型开发方面经验较少的客户。

Amazon Q在Quicksight Scenarios中的支持，实现BI对复杂业务问题的自动拆解，业务人员可以使用自然语言要求Amazon Q帮助解决复杂的商业问题，加速商业分析。

生成式AI的障碍与解决之道

虽然有了完备的产品技术服务，企业在面对生成式AI时还是会有一些疑虑。亚马逊云科技全球服务副总裁Uwem Ukpong总结了企业采用生成式AI的三大挑战：

云迁移瓶颈：全球85%的客户仍依赖本地数据中心，生成式AI对计算能力的需求迫使他们考虑如何快速转向云端，以充分释放AI的潜力。

数据孤岛难题：企业数据分散在多个孤岛中，需要整合或建立高效的数据访问管道，才能支持分析、模型训练和推理。

应用场景聚焦：生成式AI出现后，许多客户急于开展概念验证（POC），但常常缺乏明确的投资回报目标和支持，影响了实际落地效果。

生成式AI创新中心的成立就是为了帮助不同AI技术水平的客户，自去年成立以来，已经与客户合作完成了超过700个应用案例。

对于具备软件开发能力的客户，更多地寻求经验的指导和借鉴，亚马逊云科技提供“低强度指导”（low torch engagement），通过经验分享和建议帮助客户独立推进项目。对于缺乏开发能力、没有深厚技术基础的客户，亚马逊云科技提供“白手套服务”（white glove service），亚马逊云科技的开发团队几乎会像内部团队一样直接参与到客户的工作中，与客户一起构建生成式AI应用。

同时Uwem Ukpong强调，企业在概念验证项目中，要认真评估成本与收益，分析投资回报率，并判断这个具体的用例是否值得我们重点推进。

“我们现在不仅在塑造当下，也在为新的创新腾飞奠定基础。”正如Swami Sivasubramanian所说，从用于大规模训练基础模型的强大工具，到正在革新生产力的生成式AI助手，亚马逊云科技都是这个融合历史时刻的积极参与者，在很久以前梦想者的基础上继续前行，并为下一波技术先锋铺平道路。