推理浪潮来袭，AI网络如何应对新一轮基础设施挑战

过去几年，AI基础设施的讨论大多聚焦于大规模模型训练。各大AI公司为开发前沿模型所建设的训练工厂规模惊人：数十万块GPU、堪比中型城市的电力消耗，以及每秒数十拍比特的跨园区传输带宽。

然而，随着AI应用加速普及，一个更大的基础设施挑战正逐渐浮出水面。来自AI需求侧的持续压力——推理——正成为新的核心议题。

推理是指每次用户向聊天机器人提问、将文件上传至生产力工具进行分析，或在邮箱和搜索结果中获取AI摘要时所触发的计算过程。单次查询产生的流量本身微乎其微，但将其乘以全球范围内与AI交互的用户数量——加上越来越多涉及视频、图像和附件的请求——下一个网络需求的主要驱动力便清晰显现。

与训练阶段不同，推理的增长曲线更加陡峭、分布更广、覆盖全球，这正在重塑数据中心互联的设计方式，以及连接云区域、城域网和跨洲际骨干的整体网络生态。

推理需求的爆炸式增长

比用户主动拥抱AI更具威力的，是AI功能被嵌入数十亿用户已在使用的平台所产生的复合效应。

如今，AI能力已深度集成于搜索引擎、电子邮件、办公软件、地图、社交信息流和智能手机之中。这种嵌入方式确保了AI功能的即时触达和全球覆盖，也带来了不可避免的海量使用。

推理量的增长因此十分惊人。以谷歌为例，该公司报告称，其每月处理的AI Token数量在2025年初实现了同比50倍的增长，仅两个月后又翻了一番，并在2026年4月发布的季度报告中显示，Token处理量环比增长60%，增速依然惊人。

硬件与算法层面的效率提升在一定程度上缓解了对额外资源的需求，但远未能覆盖全部增量。为了承载不断增加的推理量，需要加快部署新的GPU算力，推理数据中心的数量也在迅速增加，且分布于更多地理位置。

这种地理分布，正是推理不仅仅是算力问题、更是网络问题的第一个原因。

推理流量：从轻量到主导

过去，AI对互联网整体流量的贡献十分有限。一条文字提问加一条文字回复，不过几千字节，与一分钟视频流相比几乎可以忽略不计。

但这一现状正在迅速改变。

多模态模型能够分析和生成图像、音频、视频和三维内容。用户上传一段高清短视频进行分析或编辑，几秒钟内便会产生数兆字节的上行流量。研究人员、学生和企业用户也越来越多地将大量文档输入模型，以提炼核心发现并生成详细报告。基于云端的视频分析服务可处理摄像头实时画面并提供洞察和预警，这类应用也正逐渐形成可行的商业模式。

将这些交互乘以数亿乃至数十亿用户，推理流量便成为分布式、普遍性网络流量的重要驱动力。

推理模型带来第二层压力。与即时生成回复不同，推理模型会将问题拆解为多个内部步骤，并实时调用相关信息。用户看到的一个最终答案，背后可能涉及数十次后台检索，产生大量跨数据中心的数据传输。

此外，上下文窗口的持续扩展也在增加网络压力。前沿模型现已能够处理超大规模的输入内容，包括完整的文档集合、对话历史和检索知识库。检索增强生成已成为企业AI应用的主流技术，每次查询都需要将上下文知识注入模型提示词，进一步放大了网络负载。

综合来看，推理已不再是轻量级的网络任务，而是正在成为数据中心间及用户与AI基础设施间流量增长的主要驱动因素。

推理驱动的网络互联需求

AI模型现已分布于多个区域，使用信号和强化学习反馈需要回流至集中式智能系统。多步骤、分布式的推理工作流越来越多地跨站点运行，各站点承担不同角色：一类专注于高算力、大上下文处理的预填充，另一类则侧重于低延迟Token生成与内存缓存效率的解码。与此同时，主权AI的合规要求推动工作负载向特定司法管辖区集中，进一步增加了需要高容量、高可靠性互联的设施数量。

典型的推理数据中心互联链路已达每路多太比特每秒的传输速率。随着更具弹性和多样化的互联拓扑的部署，以及推理型AI数据中心在数量和地理分布上的快速扩张，路由数量与单路容量都在同步增长。

推理数据中心的互联只是方程式的一侧，另一侧则是将用户、智能体、设备和组织连接至这套网状基础设施以运行推理工作负载。多云接入正不断演进，以支持企业大规模数据集在AI平台间的流转。更对称的宽带接入和可扩展的汇聚能力，将为普及化摄像头向AI云端上传视频进行分析提供支撑。整个网络生态都需要随之适应。

网络运营商与服务提供商如何应对这一趋势？

网络运营商的应对之道

网络运营商已在围绕可扩展性、灵活性、效率和安全性展开规划布局。为最大化每对光纤的传输容量——这一资源从未像今天这样珍贵且备受追捧——运营商正在采用支持每波长1.6 Tb/s的相干光平台和系统。

以Lumen Technologies为例，这家网络提供商正在面向未来大规模扩展网络，借助高带宽1.6 Tb/s相干收发器加快建设步伐。

此外，推理流量模式多变且多样，使得静态网络难以满足需求。许多运营商因此转向AI辅助的多层网络控制，以实现近实时的容量调度和性能优化。Lumen同样是这一方向的典型代表，借助完善的控制套件，该运营商实现了对光纤资产的全面可视化，并通过统一控制点最大化资源利用率和性能表现。

此外，由于推理流量通常涉及敏感数据，网络运营商正在所有新部署的数据中心互联方案中，将光层加密作为标准配置融入其中。

推理工作负载的演进速度已超出任何预测模型的能力范围。未来五年最具竞争力的网络，将是那些无需在每次工作负载激增时进行大规模改造，就能在容量、覆盖范围和智能化程度上持续扩展的网络。

训练定义了AI基础设施建设的第一波浪潮，推理正在塑造第二波——这一波更加全球化、更加复杂，将深刻改变整个网络格局。

Q&A

Q1：AI推理流量为什么会快速增长，和训练流量有什么区别？

A：AI训练流量集中在少数超大规模数据中心，属于阶段性、集中式的高强度负载。而推理是每次用户与AI交互时实时触发的，随着AI功能嵌入搜索、邮件、办公软件等数十亿用户使用的平台，推理请求的频次和规模呈指数级扩张。多模态模型的普及让单次推理流量从几千字节跃升至数兆字节，推理因此正成为全球网络流量增长的主要驱动力。

Q2：检索增强生成技术为什么会增加网络压力？

A：检索增强生成是一种主流的企业AI应用技术，每次用户发起查询时，系统都需要从外部知识库中检索相关内容，并将其注入模型的提示词中。这意味着每次推理不只是简单的请求-响应，而是涉及多次数据检索和跨系统传输，大量数据需要在模型、存储系统和外部数据源之间流转，很多情况下还会跨越数据中心边界，显著增加了网络负载。

Q3：网络运营商如何应对AI推理带来的带宽压力？

A：运营商主要从三个方向入手：一是采用每波长1.6 Tb/s的相干光传输技术，最大化现有光纤资源的利用率；二是引入AI辅助的多层网络控制系统，实现近实时的容量动态调度和性能优化；三是在数据中心互联部署中将光层加密作为标准配置，保障推理流量中敏感数据的安全传输。Lumen Technologies是上述技术实践的典型代表。