大模型算力，宁畅不想拆盲盒

有钱就能做算力，已经成为过去式。

大模型对于算力的指数级需求，一度让不少企业蠢蠢欲动，2023年，光倒卖英伟达GPU卡就是一门来钱快、利润高的生意，但到了年末，部分企业发现即便有钱能买到GPU卡，算力却不是堆卡就能堆起来的。

量变引起质变，根本原因是大模型算力的复杂度变化，例如业内通常千卡集群训练千亿参数大模型，万卡集群才能较好训练万亿参数大模型，即便是精调等算力相对较小的需求，也存在着大量的算力浪费。

在通用算力为主的算力时代，互联网等上层应用基本趋于稳定，底层通用算力的优化也没有太多文章可做，但是大模型是全新的业务负载，本身还处于快速演进阶段，与之相匹配的算力也较难做到针对优化。

大模型算力，既是服务器厂商的机会，也可能成为洗牌的开始。

宁畅总裁秦晓宁指出，大模型在细分行业落地过程中，已经不再局限于算力性能这一单一竞争要素，面临算效、适配、应用等问题日益复杂，愈发需要系统性AI计算方案提供全方位、全周期支持。

算法协同优化、数据处理能力、模型可解释性以及与特定行业应用的融合度，都成为了智能计算能否成功推动技术创新和实际落地的核心因素。

大模型算力，是系统级工程

据此前报道，OpenAI训练GPT-4在大约25000个A100上训练了90到100天，算力利用率在32%到36%之间，被视为业内标杆的大模型尚且如此，可以想象，更多大模型一边摸索一遍训练，相当比例的算力都会白白浪费掉。

大模型与算力，是新时代的掘金者与卖水人，不管大模型发展得如何，为大模型提供算力的厂商赚得盆满钵满，但随着大模型行业的收敛，卖水这门生意也有了足够高的门槛。

秦晓宁提到，大模型的1.0阶段，即百模大战时期。流行这样一句话，大模型厂商第一要务就是购买更多的GPU服务器，很多算力提供商并不需要过多关注客户需求，大模型客户只需要更快更强的硬件产品。

2024年，大模型从参数竞赛进入到商业化、产业化的落地阶段，企业不仅需要算力硬件，更多是整个支撑能力体系的升级，就像“木桶原理”一样，任何一个短板都可能造成系统的瓶颈。

举例来说，算、网、存、管四个方面，超大规模算力集群需要超强的稳定性，同时需要多台集群GB级数据规模的通信能力，存储的读写和容量也要跟上大模型的需求，管理需要减少损失、设备故障等方面问题。

“今年在产业垂直落地的场景当中，需要我们精调的行业模型客户越来越多，而且客户对于算效的需求不像前一类客户需求那么强烈，他们需要极高的模型精度和效率，95%是行业模型精度的门槛，在To C场景，60%的精准度已经可以满足普通大众的需求了。”秦晓宁透露。

从大模型精度方面看，需要考虑的因素也更复杂。例如行业数据本身涉及到内部信息、客户数据等，需要考虑数据的安全合规性，在此基础上还要进行高质量的数据治理，做好清洗、标注等一系列工作，避免低质量数据导致模型的置换问题。另外，还需要算法、调优硬件加速包括软件工具等各方面的支持。

当大模型训练完之后，在部署阶段需要确保训练推理业务之间的软硬件数据，实现无缝实时对接，同时模型部署阶段会有很多的冗余，需要进一步做好模型的精简、蒸馏、压缩，算力平台也可以实时加速推理，算力调度可实现轻量级一键式甚至分钟级部署。

在管理大模型应用的过程中，需要一个稳定的运行环境，同时对整体资源进行实时全面监管，高效稳定的体系。

“不管是万卡时代的算效彩票还是深入行业的精度盲盒，以及高效调用的服务瓶颈，这是我们当下急需要解决的问题。”秦晓宁总结道。

全局智算，服务器厂商的战略升维

大模型算力的复杂度，已经让算力厂商不得不加速迭代自己的技术栈，宁畅的应对之策是全局智算战略，比起过去以提供硬件产品为主的能力，宁畅相当于给自己来了一次能力升维。

全局智算共分为六个层面，最底层是硬件资源层，也是广泛熟知硬的产品，包括传统通用服务器、GPU、整机柜、存储、网络多种形态产品。

硬件层之上是集群设计层，这一层不是将海量硬件进行简单的连接堆叠，而是分析整个业务运行的特征和系统的量化需求，提供从微架构、网络、存储、AI模型特征等一系列的方案化设计。

集群层之上是算子优化层，宁畅为了降本增效提供了整体AI算子自优化能力，减少模型执行的时间，降低了资源的消耗，提高了能效比，使得大模型能够在有效的资源上高效地运行。

再往上AI中台层，目前宁畅已经全面支持NVIDIA AI Enterprise，并基于此提供AI算力系统深度整合的工作栈。

更高是业务层和场景层，宁畅可以根据不同的业务和场景，针对性优化大模型效果。如此，宁畅可以提供从咨询、测试、运维、售后的全服务场景，满足客户从大模型的开发、适配、部署、全场景的全行业的需求，并且根据客户的不同阶段，提供极具性价比定制化智算部署方案。

以某车企的大模型算力需求为例，宁畅首先搭建了集群互联方案，其中搭载了液冷整机柜产品，实现了电液盲插，非常方便运维和部署。

在软件层面，由于自动驾驶对实时性和延迟性要求非常高，针对于自动驾驶特定的算法和模型，软件栈提供了优化的深度学习框架和加速库，包括了宁畅为自动驾驶场景的预训练模型、模型压缩、加速技术，以及车辆特定的硬件平台优化深度学习库。

为了确保自动驾驶系统的安全性，车企需要进行大量的模拟测试，软件栈包含模拟和测试工具，支持虚拟环境创建、场景重现，测试用例自动生成和执行。自动驾驶企业还需要处理和标注大量的数据，宁畅能够支持数据预处理自动标注等，提高了数据的利用效率，加速模型的训练过程。

大模型算力是全新的复杂系统，不论是宁畅还是其他算力供应商，都在参与并构建新时代的算力生态，这也将成为未来一段时间的行业主旋律。

（本文首发钛媒体APP 作者｜张帅，欢迎添加作者mr3right爆料、交流）