红帽OpenShift AI：增强混合云中的预测和生成式人工智能灵活性

中国北京–2024年5月9日–世界领先的开源解决方案供应商红帽公司日前发布了红帽OpenShift AI的最新进展。红帽OpenShift AI是基于红帽OpenShift而构建的开放式混合人工智能（AI）和机器学习（ML）平台，帮助企业在混合云环境中大规模创建并交付人工智能支持的应用。这些最新进展彰显了红帽关于人工智能的愿景：从底层硬件到服务和工具，如Jupyter和PyTorch，红帽为客户提供了全方位的支持，旨在加速创新、提高生产力。并通过这个更灵活、扩展能力更强、适应性更佳的开源平台，企业能够将人工智能应用于日常业务运营中，无论是在云环境中还是在其他环境中。

在人工智能模型从实验阶段转向投产阶段的过程中，客户面临着诸多挑战，包括硬件成本增加、数据隐私问题以及在与基于SaaS的模型共享数据时缺乏信任。生成式人工智能（GenAI）领域的快速变化加剧了这些挑战，因此许多企业都在积极努力构建可靠的核心人工智能平台，使其能够在本地或云端运行。

IDC[1]指出，要想成功利用人工智能，企业需要对许多现有应用和数据环境进行现代化改造，消除现有系统和存储平台之间的障碍，提高基础架构的可持续性，并在云端、数据中心和边缘之间谨慎选择部署不同工作负载的位置。对红帽而言，这意味着人工智能平台必须具备灵活性，以支持企业在采用人工智能的过程中取得进展，并且适应需求和资源的变化。

红帽的人工智能战略支持跨混合云环境的灵活性，能够提供基于客户数据增强预先训练或策划的基础模型，并且可以自由地启用多种硬件和软件加速器。红帽OpenShift AI引入了新的增强功能，以满足这些需求，包括获取最新的AI/ML创新和以人工智能为中心的庞大合作伙伴生态系统的支持。该平台的最新版本，红帽OpenShift AI 2.9，提供了：

• 边缘模型服务：利用单节点OpenShift，将AI模型的部署扩展至偏远地点。该服务在资源有限的环境（如断断续续的网络访问或气隙隔离的网络访问环境）提供推理能力。目前处于技术预览阶段，为企业提供了从核心到云端再到边缘的可扩展、一致的运营体验，并提供了开箱即用的可观察性。
• 增强型模型服务：通过多个模型服务器支持预测式和生成式人工智能，包括对KServe的支持（一种Kubernetes定制资源定义，用于编排各类模型的服务）、vLLM和文本生成推理服务器（TGIS）、LLM和Caikit-nlp-TGIS运行时的服务引擎（负责处理自然语言处理模型和任务）。这种增强型模型服务允许用户在单个平台上运行多个用例的预测式和生成式人工智能，从而降低成本并简化操作。用户可以轻松地为LLM模型提供开箱即用的模型服务，简化相关的工作流程。
• 采用Ray支持分布式工作负载：利用CodeFlare和KubeRay，通过多个集群节点实现更快、更高效的数据处理和模型训练。Ray是一个用于加速人工智能工作负载的框架，而KubeRay可协助管理这些工作负载在Kubernetes上的运行。CodeFlare是红帽OpenShift AI分布式工作负载能力的核心，提供了用户友好的框架，有助于简化任务编排和监控。通过中央排队和管理功能，可实现对节点的优化使用，并将GPU等资源分配给适当的用户和工作负载。
• 改进模型开发：通过项目工作区和额外的工作台镜像，赋予数据科学家灵活使用IDE和工具包的能力，包括目前处于技术预览阶段的VS Code和RStudio，以及适用于多种用例和多类模型的增强型CUDA。
• 模型监控和可视化：显示性能和操作指标，以更好地观测人工智能模型的运行情况。
• 新的加速器配置文件：管理员能够配置不同类型硬件加速器，以支持模型开发和模型服务工作流。对于特定工作负载，管理员能够以简单的自助方式访问适当的加速器类型。

除了支持IBM Watsonx.ai的红帽OpenShift AI外，各行业企业，如AGESIC和Ortec Finance等，也纷纷采用红帽OpenShift AI，推动更多人工智能创新和增长。

当混合云遇上混合AI

在过去三十多年中，开源技术不仅推动了快速创新，还大幅降低了IT成本并降低了创新门槛。从21世纪初通过RHEL提供开放式企业Linux平台，到通过红帽OpenShift推动容器和Kubernetes成为开放式混合云和云原生计算的基础，红帽几乎一直引领着这一潮流。

红帽在开放混合云中赋能人工智能/机器学习战略，支持人工智能工作负载在数据所在的地方运行，无论是在数据中心、多个公有云或边缘。除了支持工作负载外，红帽的人工智能愿景还将模型训练和调整引向同一方向，以更好地应对数据主权、合规和操作完整性等方面的限制。红帽的平台为这些工作负载提供跨环境的一致性，无论它们在何处运行，这对于顺利推进人工智能创新至关重要。

支持证言

Ashesh Badani，红帽首席产品官兼高级副总裁

“在将人工智能引入企业中，我们不再需要考虑是否引入，而是何时。企业需要一个更可靠、更一致、更灵活的人工智能平台来提高生产力、增加收入并推动市场差异化。为了满足大规模企业人工智能的需求，红帽提供了红帽OpenShift AI。这一解决方案使IT领导者能够在混合云中的各种位置部署智能应用，同时根据需求扩展和微调运营及模型，以支持实际生产应用和服务的需求。”

Thomas Taroni，Phoenix Technologies首席执行官

“红帽的人工智能愿景与我们为企业提供可靠自主人工智能解决方案的目标完全契合。通过红帽OpenShift AI，我们的Kvant AI客户能够实现出色的灵活性、可扩展性和安全性。将Kvant AI与红帽OpenShift AI结合，企业能够轻松地整合预测式和生成式模型，使每个人都能自信且敏捷地创建人工智能应用。”

Jeff Fonke，World Wide Technology Holding Co.人工智能与数据高级实践经理

“传统IT模型已无法应对人工智能的复杂性，WWT致力于帮助我们的客户更快地做出正确的技术决策，尤其是在采用人工智能时。WWT的AI Proving Ground正是这一承诺的体现。通过将红帽OpenShift AI作为基础平台，AI Proving Ground使客户能够测试、训练、验证和部署安全的人工智能解决方案，从而创造真正的商业价值。”

Joris Cramwinckel，Ortec Finance技术专家

“过去两年间，红帽帮助我们在AzureRed HatOpenShift上为用于住宅估价的机器学习模型提供了成功的服务，我们很高兴能够通过实施红帽OpenShift AI代替用于应用程序中人工智能模型服务的维护工作和专有代码。通过将OpenShift AI的强大能力与Azure红帽OpenShift相结合，我们的研发团队能够帮助客户加快向基于AI的解决方案过渡，从而帮助我们更有效地管理风险和提高投资回报。”