AI推理时代 边缘云不再“边缘”

本报记者 秦枭 北京报道

在数字化转型的浪潮中，边缘云正在全球范围内引发一场技术革命。它突破了传统集中式计算模式的局限，将数据处理和分析能力下沉至网络边缘，使得数据在生成之际即可获得快速响应和处理。尤其是在人工智能大模型的竞争中，焦点正从训练阶段迅速转向AI推理，而边缘云凭借其显著优势，正逐渐成为行业竞争的新焦点。

Akamai副总裁暨大中华区总经理李昇在接受《中国经营报》记者采访时表示，ChatGPT的横空出世标示着生成式AI掀起了一股新的浪潮。从训练和推理的角度来看，推理方面的计算需求可能是训练需求的10倍，甚至更多。如今，越来越多的客户开始特别关注“后训练”阶段以及训练后的部署问题。对于企业而言，靠近节点的边缘云能够有效提升数据交互和AI推理的即时性与效率，同时保障信息安全。

AI推理时代来临

“训练如同绘制地图，需要集中式超算中心；而推理更像是实时导航，必须在靠近用户的边缘发生。”Akamai云技术部门首席运营官兼总经理Adam Karon表示。

实际上，自去年起，众多科技巨头纷纷在AI推理领域发力。OpenAI推出O1推理模型，Anthropic跟进上线依赖推理能力的“Computer Use”的Agent功能，DeepSeek R1推理模型更是在全球范围内引发广泛关注。英伟达在GTC大会上也不甘示弱，亮相首款推理模型、首个推理软件等。巴克莱报告指出，AI推理计算需求预计将占通用人工智能总计算需求的70%以上，甚至可能达到训练计算需求的4.5倍之多。英伟达创始人黄仁勋也预测，推理所需算力需求规模增长将“轻松超过去年估计的100倍”。

在DeepSeek出现之前，AI大模型的部署与训练面临着重重困境。一方面，需要投入巨额资金，并进行大规模算力的部署与维护，这使得中小企业难以自建生态开展大模型开发；另一方面，AI大模型的闭源特性增加了部署与使用门槛，极大地限制了其广泛应用。

而DeepSeek创新性地采用大规模跨节点专家并行模式，借助强化学习减少人工依赖和数据缺失问题，并通过全面开源，将AI推理资源池成本降至百卡/千卡范围，显著降低了AI大模型在行业用户环境中的部署与使用成本。其轻量、灵活的部署方式，为行业提供了全新的解决方案。短短数月，国内外科技、金融、政务、能源、通信、汽车、高校等众多行业纷纷接入DeepSeek，用于业务提效和AI应用创新，有力地推动了端侧AI的爆发与普及，加速了AI从预训练阶段向大规模推理的转变。

“‘从预训练阶段转到推理阶段’，我们也看到同样的趋势。”Akamai亚太区云计算专家团队负责人李文涛表示，“行业研究预测，未来客户在AI推理方面的投入将比训练投入高出10倍之多。在日常生活中使用各种互联网AI服务时，我们也能感受到，如果大量同时使用AI推理服务，其成本将非常可观。所谓‘慢思考’和‘快思考’两种模式，实际上反映了不同AI服务的特点。‘慢思考’更注重AI推理过程，可能需要结合更多第三方数据，推理时间也更长。这种‘慢思考’的AI推理对云计算的成本压力更大，资源消耗更多，这也将促使客户思考如何优化服务，提高成本效益。”

李文涛认为，小模型的推理特别适合在边缘进行，因为边缘的特点是离用户近、时延特别低，但它的边缘机房的规模与算力相比于集中式的核心机房是有限的，所以往往会更加适合对时延敏感的小模型推理这样的场景。

重燃边缘云赛道

AI推理需要为终端用户运行工作负载，响应速度和位置因素至关重要，这使得在边缘或边缘云环境中进行推理具备明显优势。对于企业而言，靠近节点的边缘云能够有效提升数据交互和AI推理的即时性与效率，同时保障信息安全。

边缘云地理分布广泛，靠近用户，是低延迟体验的必要条件。它通过缩短交互链路，降低数据传输开销和成本。边缘云的节点容量大、健壮性强、可用性高，结合边缘推理，提供智能和效率，支持企业数字化和智能化转型。边缘云保障业务连续性，实现故障时的快速切换。边缘侧提供额外能力，如边缘缓存和安全防护，增强模型部署和应用的安全性。

而未来市场竞争的核心要素在于成本/性能的计算，包括推理成本、延迟和吞吐量。李文涛表示，边缘推理在更靠近终端用户的地方运行AI应用程序和数据密集型的工作负载。推理越靠近用户、越靠近数据源，用户体验越好、效率越高。此外还有一些客户看重“数据主权”，希望数据不要离开本地，从而更好保护隐私。另外就是数据的传输，在公有云和互联网上数据传输成本很高，给客户造成了很大的负担。基于这些原因，很多客户慢慢会想：“我有这么多的分布式数据源，我的用户也在产生数据。那么，我是不是可以在离用户就近的地方做分析、做推理？”

李文涛表示，现在AI相关行业里面的投资已经开始转向推理，而不仅仅是训练。推理效率主要是根据推理模型的吞吐量、时延和成本去做综合的评估。

（编辑：张靖超 审核：李正豪 校对：颜京宁）