红帽曹衡康：借助开源技术破解企业AI落地难题

【TechWeb】11月6日消息，IDC最近的一项调查显示，约有70%的亚太地区企业预期，Agentic AI（智能体AI）将在未来18个月内颠覆现有的商业模式。

中国的市场变化快、规模大、落地要求强。政策层面，也在推动“负责任、可控、可治理”的AI落地。

这都意味着，AI不再是展示，而是必须进入生产系统。

近日，在红帽论坛上，如何借助开源技术破解企业AI落地难题成为热议话题。红帽全球副总裁兼大中华区总裁曹衡康在论坛上指出，“开源社区最大的优势是，全球开发者已经打下了一个很好的基础，企业只需要在这个社区中找到觉得不错的技术，拿过来并企业化。”

在开源社区的加持下，人工智能技术正加速在各行各业落地。

AI操作系统 核心是vLLM

AI技术的大规模落地，离不开开源力量的加持。作为全球开源力量的聚集地，红帽已经为AI技术落地做出了准备，其中最关键的就是vLLM。

红帽大中华区首席技术官张家驹在接受媒体采访时表示，“AI的操作系统，核心就是vLLM 。”

vLLM即Virtual Large Language Model，是专为高效部署和运行大型语言模型（LLM）的推理任务而设计，通过创新的内存管理技术和调度算法，最大化GPU资源利用率，降低延迟，并支持高并发场景下的实时服务需求。

早期，vLLM只支持生成式AI，其他不支持。如今vLLM已成为开源模型推理服务的事实标准，支持几乎所有基于文本的大语言模型，并逐步扩展到多模态模型。

不过，在红帽联合产业针对超过350位企业CIO和IT决策者的调研显示，仍有超过51%的企业表示暂未使用推理引擎。

为此，红帽计划在南向通过算法将加速硬件接口进行标准化，北向让vLLM支持更多模型，以此推进vLLM的标准化进程，从而实现从开放混合云到开放混合AI的战略转变。

而除了持续投入vLLM推理引擎开源社区项目外，今年5月，红帽又全新发布了前瞻性的开源项目——llm-d，它将显著增强vLLM推理服务能力，为AI推理的规模化生产提供解决方案。

依托红帽开放混合云产品组合，包括红帽企业Linux、Ansible自动化平台、OpenShift虚拟化与OpenShift混合云应用平台，企业能够构建统一平台，优化技术架构并加速应用现代化。

曹衡康强调，红帽AI的愿景就是借助红帽开源、企业级AI平台，企业可以使用任意模型、任意加速器、任意云部署AI。

软件定义汽车 红帽车用OS正式发布

经过数亿美元的投入和数年的研发，红帽车用操作系统正式发布。

曹衡康在接受媒体采访时表示，“现在的电动车其实就是1个智能手机加4个轮子，重点在于软件，软件是带动汽车功能的关键。 ”

“从市场趋势来看，现在大家都在做软件定义汽车。”红帽中国汽车操作系统首席代表姜垚表示，随着智能网联汽车的不断发展，大家对于自动驾驶的需求越来越高，比如L2或者L2+、L2++等（尚未到L3），在这个过程当中，对于AI的需求，包括模型、工具链的需求越来越高，封闭式的、黑盒子的操作系统是满足不了具有丰富性和多样性的AI工具、应用的，这时Linux及开源的优势就在汽车行业部署中凸显出来。此外，做自动驾驶的应用，包括测试的时候，还需要云端部署来进行虚拟化测试。所以完全打通之后，我们发现Linux是未来汽车发展中非常重要的OS技术趋势。

因此早在2021年，红帽就设定目标，要面向汽车打造首个持续认证的Linux平台。此后，红帽与功能安全和网络安全认证的全球领导者exida携手合作，共同开发和验证新型方法，以满足多种功能安全标准的风险管理要求，包括ISO 26262。

今年5月，红帽车用操作系统通过ISO 26262第2版（2018年版）ASIL-B级安全标准认证，达到该标准中独立于环境的安全要素（SEooC）功能安全认证。

红帽车用操作系统，构建在红帽企业Linux之上，是一款经过安全认证、基于Linux的操作系统，经过精心优化，可满足汽车领域的关键需求，包括：卓越的启动速度、实时性能以及强大的抗干扰能力（FFI），确保非安全关键型应用（如车用娱乐系统或GPS系统）不会影响基本安全功能。

该平台支持广泛应用，包括高级驾驶辅助系统（ADAS）、数字座舱、车身控制、车用通信、车用娱乐系统，甚至可以在车内集成前沿的AI模型。

姜垚透露，红帽现在已经和两家中国车企在做自动驾驶类的合作，“未来规划会把C++、library、包括一些库，都放在我们B级的认证之后，下一步就会做C级、D级。”

至于为何选择率先在中国发布红帽车用操作系统，曹衡康解释称，公布的市场需要找一个发展速度快，同时规模大的市场。第一，中国的汽车产销总量是全球第一。第二，中国新创企业非常多，这些企业都愿意尝试新的方法，就连传统企业也在加速布局新业务，抢市场，策划一些分支机构等等。在这种情况之下，选在中国先公布，没有任何悬念。（周小白）