GPU利用率从30%到70%+，ZStack的算力共享方法论

在客户的 AI 平台环境里，我们反复看到同一个现象：

GPU 高价采购回来，平均利用率却只有 30% 左右。

访谈下来，我们了解到，这个原因几乎是共性的。GPU通常都是按整卡分配给部门或项目，一个只需要十几 GB 显存的推理服务独占一张卡；算法团队的卡深夜闲置，业务团队白天却在排队等卡。算力被组织边界和分配粒度硬性切成了孤岛。

一句话总结，买得越多，闲置越多。

把 GPU 共享起来，是每个运维负责人都会想到的方向。今年 6 月，CNCF 沙箱项目 HAMi-core 被 NVIDIA 开源的KAI Scheduler集成，显存与算力的“硬隔离”进入主流调度生态，也印证了这个方向已是行业共识。但从我们服务大量企业算力平台的经验看，GPU 共享要真正落进生产环境，有三道必答题——答不好，共享往往在第一次生产事故后被叫停，重新回到整卡分配的老路。

今天，我们把这三道题和ZStack AIOS的解法展开，供正在规划算力平台的团队参考。

第一道题：切分粒度怎么定？

共享的第一步是把整卡切开，但切多细、按什么切，直接决定共享的收益。

我们的经验是——按任务真实需求双维度切分——显存和算力分开定。显存按模型实际占用分配（一个 13B 模型的推理服务要多少显存是可以测算的），算力按业务的延迟容忍度分配（在线推理给足、批处理任务给少）。只按显存切不管算力，高峰期任务互相拖慢；只按整卡的二分之一、四分之一机械切分，又会回到粒度浪费的老问题。

在 ZStack AIOS 智塔里，这套切分是平台原生能力：GPU 池化后按需切分，显存与算力独立定义，一张卡同时服务多个推理任务。更进一步，训练与推理通过队列调度与优先级机制错峰复用——白天推理为主、夜间训练接管，这类调度不再依赖运维手工腾挪。

判断你的切分方案靠不靠谱，一个简单的测试：新上一个任务时，你能不能说清它拿到了多少显存、多少算力？

如果说不清，那就还是“大锅饭”。

第二道题：隔离边界怎么验证？

切分之后，真正的生死线是隔离。多个任务共享一张卡，显存互相挤占、算力互相干扰，一个任务 OOM 拖垮同卡邻居——生产环境里，没有硬边界的共享等于不可用。

怎么验证隔离是硬的？我们建议在POC阶段做三个压力测试：让一个任务故意超显存申请，看它是否只在自己的配额内失败、邻居无感；让一个任务满负载抢算力，看同卡其他任务的延迟波动是否在可接受范围；模拟任务异常退出，看资源是否干净回收。三个测试都过，隔离才算硬。

AIOS 的切分自带硬边界：每份算力的显存与算力配额是强制的，超限在自己的边界内处理，不外溢、不传染。这也是“软共享”和“硬隔离”的本质差别——前者靠任务自觉，后者靠平台强制。

这条边界我们自己先压测过。

在内部测试环境中，AIOS 的dGPU切分以 16 路并发连续运行 23.5 小时、处理 134074 次请求，零失败，虚拟化开销约 7%，性能漂移小于 0.5%——高并发、长时间、大请求量之下，隔离边界稳定，切分带来的性能损耗被控制在个位数。

我们希望所有人都明白，硬隔离不是纸面能力，是经得起连续压测的工程结果。

第三道题：多租户怎么运营？

切分和隔离解决的是技术问题，共享要长期运转，还要回答运营问题：谁能用多少？用了多少？超了怎么办？

我们见过多个平台死在这一步——技术上能共享了，但没有配额和计量，算力分配靠拍脑袋和抢，部门之间的矛盾比共享前更大。共享算力池必须配一套租户运营体系：组织、项目、用户三级配额，让分配有规则;用量全程计量，让成本可分摊;审批和优先级机制，让争抢有秩序。

这套体系在 AIOS 里是开箱即用的：三级权限与配额管理、算力用量计量、面向内部结算的用量报表。算力从“抢来的资源”变成“按份额使用的服务”，共享才能从技术验证走向长期运营。

异构算力，同一套方法论

当然，现实工作中，还有一个越来越普遍的现实：信创进程中，昇腾、海光等国产算力与既有英伟达卡是长期并存的。如果每种芯片一套平台、一套分配逻辑，上面三道题就要答两遍，让运营成本直接翻倍。

显然，这道题也是有解法的。

ZStack AIOS 可以统一纳管英伟达及阿里 PPU、昇腾、海光、摩尔线程等多元 GPU，支持 5 个以上品牌、30 多种型号——切分、隔离、配额、计量这套方法论，在异构算力池上同样成立。企业不必因为芯片品牌不同，把算力割裂成两套体系。

从三成到七成，分水岭在方法不在硬件

回到开头的数字，GPU 利用率 30% 还是 70%，差的不是硬件，是方法——切分有没有按真实需求定粒度，隔离是不是经得起压力测试，运营有没有配额和计量的体系。这三道题答好，同样的算力投入承载一倍以上的业务增量。

答不好，再多的卡也是孤岛。

这套方法论，ZStack AIOS 智塔已经做进了平台底座——GPU 池化切分、硬隔离边界、多租户配额计量、异构统一调度，四大功能开箱即用。企业建 AI 平台的第一天，就可以站在“好用”的起点上，而不是在“能用”的阶段反复交学费。

如果企业正在规划 AI 算力平台，或希望提升现有 GPU 资源的使用效率，欢迎联系 ZStack 各区域团队，获取基于现有环境的算力调度方案建议。