【人工智能】AI 基础设施如何支持训练、推理和动态数据

构建可扩展的基础有助于企业加速 AI 准备，并为 AI 发展打造面向未来的基础设施

人工智能数据（涵盖训练和推理工作负载以及其间的所有环节）的快速增长，对高性能计算基础设施的需求不断增加。此外，复杂且数据密集型的人工智能应用需要混合多云连接，以便在关键工作负载之间实现更快的数据传输。

企业正在努力应对过时的本地数据中心，这些数据中心缺乏计算能力和能力、高密度冷却能力以及支持 AI 工作负载所需的可扩展基础设施。他们正在应对由特定业务需求和数据驻留、隐私和主权考虑驱动的复杂 AI 环境。虽然公共云可能是托管 AI 项目的一种选择，但对隐私、供应商锁定和不可预测的成本的担忧往往超过了企业获得的好处。

支持 AI 的数据中心提供企业所需的高性能计算基础架构和安全网络连接，以支持高密度、高功耗的 AI 工作负载并加速模型训练、AI 推理和数据移动。企业可以确保其地理分散的 AI 基础架构的可扩展性、可靠性和效率，同时优化成本并保持强大的安全性和合规性。

人工智能工作负载有哪 3 种主要类型？

由于与新兴技术相关的术语的定义通常会有所不同，我们将首先描述 AI 基础设施支持的三个主要工作负载。

AI 模型训练涉及将算法应用于大型、多样化的数据集，以建立模式识别并提取有意义的见解。这使得能够创建能够自主做出决策或预测并在很少或完全不需要人工干预的情况下执行任务的模型。示例包括自动执行客户关系任务和检测恶意软件迹象。

• AI 模型调优是模型训练的一个子集，它采用大型、预先训练的 AI 模型，并使用其他特定于任务的数据对其进行微调，以创建针对特定工作、行业或环境的原始 AI 模型的定制版本。例如，经过调整的模型可能会采用独特的语调，或学习法律服务或财务报告等行业的复杂细节。

AI 推理将当前数据引入 AI 模型以得出新结论，但不包含所需结果的示例。它涉及根据训练阶段建立的模式识别进行预测。例如，根据过去市场表现训练的模型可以推断未来的市场表现。或者 AI 推理可用于欺诈检测。访问和使用最新的可用数据至关重要。这意味着 AI 模型必须位于数字边缘靠近用户的位置，以实现最准确的推理。

• 检索增强生成 (RAG)是一种越来越多的企业使用的方法，通过使用更新的数据来提高生成式 AI 查询结果的准确性。此技术不是重新训练模型，而是通过查询矢量数据库来增强模型，从而通过提供更相关的上下文数据作为输入提示的一部分来改进输出。

动态数据是指将适量相关数据填充到模型中所需的数据传输和交换。这包括将数据移入和移出训练和推理工作负载。动态数据对于模型的长期改进至关重要。在推理数据时，这些数据还可以反馈到未来版本中，以创建连续的反馈循环。数据可能分布在区域内、跨多个云或从 AI 生态系统（包括AI 市场）获取。

通过灵活的 AI 基础设施满足 AI 工作负载需求

上面讨论的每种工作负载都需要在高性能数据中心内部署 AI 基础设施。例如，AI 模型训练、推理和动态数据工作负载需要以下基础设施组件：

• 可扩展的多云网络连接，可实现快速数据传输以及与服务提供商、客户、合作伙伴和 AI 生态系统的私人连接

• 先进的冷却功能，包括直接芯片液体冷却，用于管理高密度计算产生的多余热量

• 通往主要云服务提供商的云入口，实现与多个地点的多个提供商的无缝连接

• 靠近数据生成地点的高性能人工智能环境使客户能够保持对其数据的所有权，并遵守数据主权和隐私要求

AI 模型训练工作负载需要使用 GPU 来获得强大的计算能力和可靠的先进电源。

人工智能推理工作负载可以在功能更弱但成本更高效的 GPU 和 CPU 上运行，这些 GPU 和 CPU 通常部署在边缘主机托管数据中心，以确保靠近用户和数据源。

人工智能基础设施的其他增值服务包括：

• 托管服务合作伙伴关系可帮助企业将其基础设施运营扩展到开发和运行大规模模型所需的 AI 性能水平。这些服务还简化了私有基础设施的安装和运营，以及在 AI 就绪的主机托管数据中心的服务部署。

• 实时环境监控可提供功耗、环境、机械和电气运行数据。这对于需要主动监控和维护冷却分配单元 (CDU) 流速和温度的液冷环境尤其重要。

在正确类型的 AI 就绪数据中心运行工作负载

一旦企业确定了其 AI 基础设施需求，下一步就是在具有最佳计算、冷却、网络和存储功能的 AI 就绪数据中心环境中进行部署。根据工作负载大小，企业可以在 AI 就绪数据中心（包括 超大规模、主机托管和边缘数据中心） 中运行其工作负载。

哪些数据中心适合模型训练？

AI 模型训练工作负载对延迟不敏感，因此超大规模或主机托管数据中心可以支持这些工作负载。

使用海量数据集训练大型语言模型 (LLM) 的云和 SaaS 提供商可以从超大规模数据中心的高容量中受益。这些设施往往位于偏远地区，能源和房地产价格较低，因此可以提供经济高效的空间和电力。

位于人口密集的大都市的传统主机托管数据中心非常适合具有中等容量要求的工作负载，包括企业为自己私人用途训练模型。

哪些数据中心适合人工智能推理？

AI 推理工作负载需要最新的可用数据（通常是实时数据），尤其是在与预测分析或高频市场交易相关联时。低延迟对于自动驾驶等应用实现最准确的推理至关重要。但是，对于聊天机器人而言，延迟与与人类交互的必要性有关，因此延迟不那么重要。另一个考虑因素是，将 GPU 和 CPU 放置在边缘是否比将数据回传到城域数据中心更具成本效益。因此，企业必须在靠近数据生成位置的边缘数据中心部署基础设施。

数据中心如何支持移动数据？

移动数据工作负载涉及在不同数据中心和云提供商之间安全地来回移动数据。因此，企业和服务提供商必须选择提供强大且安全的连接选项的数据中心，以确保其数据永远不会穿越互联网，包括连接到公共云时。无论是超大规模还是主机托管，数据中心如果不连接到其他数据中心，就无法真正为 AI 做好准备。

互联互通如何私密且安全地传输数据

当企业将数据传输到中心位置以在他们拥有的基础设施上进行培训或与其他企业交换数据时，他们希望以私密的方式进行。互联是一种虚拟网络功能，它通过同时连接企业、合作伙伴、客户、员工和其他实体，实现数据的私密传输和交换。

免责声明：

本文所发布的内容和图片旨在传播行业信息，版权归原作者所有，非商业用途。如有侵权，请与我们联系。所有信息仅供参考和分享，不构成任何投资建议。加密货币市场具有高度风险，投资者应基于自身判断和谨慎评估做出决策。投资有风险，入市需谨慎。

关注我们，一起探索AWM！

2024-12-03

2024-11-17

2024-11-16