北京
【TechWeb】6月24日消息，今年618，AI第一次真正站上了电商大促的C位。AI数字人主播凌晨三点仍在讲解促单，AI推荐引擎在流量洪峰中实时为每位用户匹配最优商品，AI客服同时响应数以百万计的咨询。这些场景背后，有一个被普遍忽视的关键问题：支撑这一切的算力基础设施，是否已经准备好了？
Akamai于2026年3月发布的《AI推理现状报告》给出了一个清醒的结论：AI推理进入业务关键场景的速度，已经远超企业架构的进化速度。报告显示，75%的企业已将生成式AI工作负载推入生产环境，但现有基础设施普遍跟不上；64%的企业要求最重要的AI用例端到端响应时间低于250毫秒，然而50%的部署在峰值负载下无法达到这一延迟要求。
Akamai的调研指向了一个被长期忽视的根本原因：不是模型不够强，而是基础架构跟不上。
事实上，用户体验数据显示，大规模多用户在线游戏需要首Token时延控制在15毫秒以内，电商个性化推荐约20毫秒，即便是容忍度最高的自动应答机器人，也需要在100毫秒左右完成响应。而传统集中式数据中心与终端用户之间动辄数十毫秒的网络时延，已经成为实时交互场景无法突破的瓶颈。
618大促正是这一“延迟墙”的压力测试场。这里面包括AI推荐引擎需要在用户滑动页面的瞬间完成个性化排序，延迟超过250毫秒即可能造成跳出。AI数字人直播的任何卡顿都会打断购买决策链路。AI客服在大促期间咨询量暴增数十倍，集中式云架构在峰值下的响应能力面临极限考验。在618这类电商大促期间，流量洪峰、实时推理与集中式架构的三重压力叠加，已经让延迟问题从“产品缺陷”升级为直接影响GMV的生死线。
Akamai亚太区云计算架构师总监李文涛
"亚太地区正从AI实验阶段迈向AI执行阶段。真正的挑战在于让 AI 在真实环境中有效运行。延迟、可扩展性和可靠性，直接影响收入和客户体验。”在Akamai亚太区云计算架构师总监李文涛看来，“延迟墙”问题的核心不在于算力不够多，而在于算力离用户不够近。“生成式AI需要‘核心云训练+边缘推理’的协同模式。核心云负责大规模模型训练，边缘负责实时推理与用户交互，这是未来的必然架构。”
“从个性化数字体验、智能体到实时决策系统，下一代的AI应用迫切要求将AI推理部署在更靠近用户的位置，从而在用户的交互点实现即时互动，并根据用户上下文做出智能决策。”李文涛认为，在未来的智能体互联网时代，交互将变得高度复杂，涉及多步骤推理、持续学习、信息整合以及不同AI智能体之间的协作，“这些业务场景亟需分布式的边缘推理能力，以实现毫秒级的响应，真正推动业务的实时化与智能化演进。”
面对这一趋势，Akamai已在全球大规模部署英伟达RTX 6000 Pro Blackwell系列GPU，目前覆盖130多个国家、4400多个边缘节点。未来一年内，具备GPU能力的节点将扩充至数百个以上，目标实现10至20毫秒级低延迟AI推理响应。
李文涛介绍，Akamai以“核心节点+分布式节点+边缘节点”三级架构构建起全球计算网络。其推出的Akamai Inference Cloud作为一个分布式生成式边缘平台，成功将AI推理工作负载从核心数据中心扩展至互联网边缘，在更靠近用户和设备的位置实现高性能、高可扩展且安全的实时推理，覆盖推荐引擎、实时视频智能、AI 数字人、辅助智能体等核心电商 AI 场景。其规模是集中式云架构所无法企及的。
当AI从实验室走向大规模生产，李文涛认为，正如《AI推理现状报告》的核心结论所言，“AI战略的可行性，取决于它所运行的基础设施。AI繁荣的下一阶段，属于那些能够将智能分发到边缘的人，而不是拥有最多GPU的人。”算力离用户越近，AI离商业成功就越近。 这也正是Akamai从CDN巨头向全球最大分布式AI推理平台转型的底层逻辑。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
