AI落地加速中，底层架构却成最大绊脚石？丨ToB产业观察

2025年上半年，中国AI基础设施服务市场规模达198.7亿元，同比激增122.4%。IDC预测，这一数字将在2029年逼近1500亿元。与市场狂热形成鲜明对比的是，Gartner报告曾指出：“超50%的AI项目因架构问题无法上线”。

当生成式AI（GenAI）从技术验证走向规模化应用，企业正陷入“算力渴求与效率瓶颈并存、创新需求与架构桎梏交织”的矛盾。

被架构困住的智能转型

赛迪顾问在《企业级AI应用落地白皮书2025》中指出，尽管83%的企业将AI列为战略优先级，但实际落地成功率仅29%。

与此同时，Gartner在《2025年企业AI架构成熟度报告》中指出，AI落地失败的根源并非单一技术缺陷，而是“算力供给、数据治理、系统协同、安全合规”构成的系统性架构失衡。这种失衡在不同行业呈现出共性挑战，却又因场景差异衍生出个性化难题。

对此，青云科技CEO林源表示，从ChatGPT问世之后，2023年开始，至今企业的数智化转型已经经历了三个阶段。

• 第一个阶段，当ChatGPT带来了新一轮AI浪潮之后，智能算力的紧俏成为阻碍企业AI应用的最大难题。甚至至今，高性能的算力也依旧是困扰企业AI落地的一个痛点，Gartner预测，2025年全球AI训练算力缺口将达42%，中国市场这一比例将升至55%。“当时市场的主要的痛点是，非专业的算力投资者如何去解决算力管理和运营的问题，”林源进一步指出，“所以青云当时提出了AI Infra 1.0，其核心也是让智算投资者能运维运营智算中心。”
• 第二个阶段，随着智算中心的建设，越来越多的客户也愿意对AI进行尝鲜。而在更多行业不同场景的客户去拥抱AI的过程中，不同的场景，也存在差异化的需求，这些方面在当时是无法得到充分满足的。
• 第三个阶段，当DeepSeek爆发之后，企业对待AI的态度也从“尝鲜”走向了认真考虑如何让AI在企业内部落地的方向。在林源看来，这个过程企业会面对更多的问题。

当企业处于AI应用第三阶段时，首要面对的就是一些“历史遗留”的IT架构问题。原先，企业IT架构的多代际叠加导致算力资源碎片化。IDC《2025企业算力管理报告》显示，制造企业平均存在4.2个独立算力池（传统服务器、虚拟化集群、GPU节点等），跨池调度效率仅为28%。67%的制造企业坦言：“算力与存储升级跟不上模型迭代速度”。“多重架构带来的是企业级AI落地过程中，更为多重的挑战。”林源强调。

此外，为追求上线速度，53%的企业采用紧耦合AI架构，将模型训练、推理与业务系统直接绑定。这种“一次性搭建”模式的代价在迭代阶段集中显现。

另一方面，企业内部的IT团队与业务部门也面临着问题和冲突，企业的业务越来越复杂、越来越多元化，新技术又让企业业务的更迭频率变快。在面对这么复杂多变的企业应用的场景之下，企业的IT部门能力难以支撑，往往疲于奔命。“不仅如此，在现在的大环境之下，企业一方面要做技术创新，另一方面还要面对业务稳定性的刚性要求，这样让企业内部的数字化团队更加举步维艰，做多反而错多。”林源一语道破了企业当前应用AI的痛点。

此外，边缘与中心算力协同不足加剧失衡。随着AI推理向边缘设备扩散，企业需同时管理智算中心集群与边缘节点，但据赛迪顾问数据显示，仅19%的企业实现算力协同调度。

总体来看，企业当前面对着“既要，又要，还要”的三重核心挑战，林源表示，首先，企业既要保留历史IT投资，又要拥抱AI创新，实现新老兼容；其次，面对愈发多元化的业务需求与越简单越好的IT架构诉求之间的矛盾，企业如何平衡好两者之间的关系；第三，企业需要在创新过程的技术迭代性的同时，满足业务的稳定性。

AIInfra破解落地困局的核心引擎

面对如此多的挑战和问题，企业需要一座衔接历史与未来的“桥梁”，在林源看来，这座桥梁需要具备三个特性：首先，新的IT与应用必须要兼容用户原有的IT资产，必须要尊重客户现有的存量业务。

其次，新的IT架构必须具备按需部署，可“进化”的特性，“所有的客户都非常担心一步到位的技术革命，因为企业会面临极大的风险与极高的成本压力。同时不同客户的阶段不同、能力不同、需求不同，所以我们需要能够满足不同客户的按需、分阶段升级的需求。”林源强调。

第三，要确保在每次IT架构迭代的过程中，用户业务的连续性、数据安全和升级的平滑性。

而AI Infra的出现让这些问题有了统一的解题思路。赛迪顾问将2025年定义为“中国AI Infra平台应用元年”，其核心价值在于通过“算力统筹、存储革新、架构整合、生态开放”四大能力，实现AI落地的“降本、提效、安全、可控”。

通过“全域调度、弹性伸缩、能效优化”三大技术路径，AI Infra能让“碎片化”的算力，统筹到一起，形成“一体化”的算力平台，从而提升算力的利用效率，破解算力供给难题，推动算力资源价值最大化。

AI Infra通过整合GPU/TPU/DCU等多元芯片，构建统一调度的异构算力池，实现“按需分配、动态扩容”。除此之外，通过AI Infra，企业还能实现国产化算力应用的突破。比如，华为昇腾910B芯片已实现千亿参数大模型训练，寒武纪CMX-9芯片以15瓦功耗实现64TOPS算力，适配边缘场景需求。燧原科技在庆阳部署的国产异构智算中心，成为“东数西算”示范项目，单集群算力达100PFLOPS，成本较进口方案降低35%。

而在算力调度方面，基于云原生技术的统一调度平台成为核心。通过算力标签与性能预测模型，实现资源与业务的精准匹配。

以青云科技为例，据林源介绍，青云的KubeSphere调度层实现了“通算+超算+智算”的全域整合，“在统一的调度层之上，就是青云不同能力的呈现，包括企业需要的完整虚拟化能力、全栈云能力、云原生的能力，以及AI智算的能力，都可以在这个统一平台去呈现。这一层是全功能的，确保了客户的业务能够随着IT架构的变革实现逐步的进化，保障客户业务的连续性。”林源介绍道。

在制造业案例中，某制造业企业面临虚拟化管硬件、云原生管应用、智算平台管算力统一纳管的困境。原先该企业需要使用三套系统、三套流程，造成了跨平台协调的高内耗。而据林源介绍，基于青云AI Infra 3.0架构，该企业实现了架构协同，“无论是数据存储分析、云原生应用部署，亦或是推理算力供给，都在一个平台上进行搭建和交付。这实现了全链路自动化，将 IT 部门响应业务部门的速度从 1 小时大幅缩短到 15 分钟。这不仅是效率提升，更是业务竞争力的重塑。”林源如是说。

在生物制药案例中，用户利用AI Infra 3.0架构中成熟的模型服务能力来对接专业大模型，通过模型和推理引擎分离架构来选择最适配的推理引擎，及时解决对接集成工作，让客户能快速上线医疗AI分析能力，将新型药物的分子设计周期从18个月压缩至12个月，将高性能复合材料的微观结构模拟时间从72小时缩短到43小时。

而这仅是AI Infra价值的“冰山一角”。IDC《2025 AI Infra价值评估报告》指出，部署新一代AI Infra的企业，AI项目上线率从29%提升至78%，投资回报率提高120%。

AI Infra迎来商业化爆发

AI Infra的战略价值引发全球厂商激烈角逐。Dell'OroGroup预测，2025年全球AI Infra市场规模将突破800亿美元，年复合增长率达58%。当前市场呈现“国内厂商聚焦本土痛点、国外厂商强化技术壁垒”的格局，细分领域的竞争已进入白热化。

厂商纷纷布局的背后是AI Infra技术竞赛，国内厂商主要围绕“信创适配、架构整合、成本控制”三大本土需求，形成“全栈型、垂直技术型、生态整合型”三类玩家，成为目前市场上的主导。

全栈型方面，青云科技以“桥梁式架构”破解历史兼容难题，其AI Infra 3.0通过PrimusOS内核层与KubeSphere调度层，实现多代际架构整合；华为以昇腾芯片为核心的全栈布局，覆盖“芯片-框架-平台-应用”。昇腾910B芯片支持千亿参数模型训练，Atlas350标卡适配超节点部署，某科研机构的大模型训练效率提升25%。阿里云以规模算力与生态整合见长，灵骏AI集群支持千卡规模训练，GPU弹性算力响应时间缩短至5分钟。分布式存储系统支持千亿级小文件调度，推理时延控制在6ms以内，服务比亚迪等车企，自动驾驶模型训练周期缩短50%。

垂直技术型方面，浪潮信息的AI服务器全球市占率47%，液冷技术使PUE降至1.15。某智算中心采用其方案后节能40%，年均电费减少280万元。2025Q1其AI服务器出货量同比增长62%，稳居全球第一；国产GPU企业燧原科技在庆阳异构智算中心中应用的算力规模达100PFLOPS，成本较进口方案降低35%。其云燧T20GPU已适配100+AI模型，在政务、金融领域的渗透率达18%。

生态整合型方面，腾讯云以“云原生+Agent”推动生态协同，国内首个跨型号GPU调度的Serverless平台，模型启动速度提升17倍。Agent Infra解决方案支持数十万实例并发，服务货拉拉等企业，车路协同响应时延降至15ms；百度智能云则是聚焦模型与Infra协同，文心一言大模型与千帆AI平台深度整合。

放眼国际，与国内服务商相比，国际服务商主要周期全球化与生态上，稍有领先。微软Azure通过“云+AI”深度融合，打造了全球首个NVIDIA GB300 NVL72集群（4600+BlackwellUltraGPU），支持OpenAI超大规模推理，内存带宽1.44exaflops。自研Maia 100 AI芯片（5nm工艺）功耗较竞品降低30%，部署于GPT-3.5Turbo推理，但在中国区市场占有率仅5%；AWS则是凭借模块化与成本方面的优势，占有一席之地。其Trainium2芯片性能是第一代4倍，Trn2 UltraServer支持64芯片集群，训练成本较GPU降低30-40%。IoT Greengrass支持边缘推理，与SageMaker集成。

基于此，赛迪顾问预测，未来3年全球AI Infra市场将呈现“双轨并行”格局——中国市场国产化率将从2025年的45%提升至2027年的65%，政务、金融等领域实现100%国产化；全球高端市场仍由NVIDIA、微软等主导，市占率保持70%以上。

放眼全球，AI Infra的竞争已从单一产品比拼升级为“技术-生态-场景”的综合较量。国内厂商需在保持成本与场景优势的同时，突破高端芯片、基础软件等核心技术瓶颈。未来的赢家，必将是既能掌控核心技术，又能深刻理解行业需求的企业。

2025年作为AI Infra应用元年，标志着企业AI转型从“概念探索”进入“规模化落地”的关键阶段。AI融入企业运营的每一个环节，成为驱动生产力变革的核心力量，已经是不可逆的事实，而AI Infra，正是开启这一时代的关键钥匙。（文｜Leo张ToB杂谈，作者｜张申宇，编辑丨盖虹达）