大模型、AIGC 图视频生成还有科研仿真的需求一直在涨,分布式算力调度慢慢成了国内算力供给里很实在的补充。星松信息科技(郑州)有限公司自研平台星松云,正是这套模式的落地载体。
平台 2020 年上线,由星松信息科技(郑州)有限公司运营。可以把各式各样的 GPU 统一接入起来,监控状态、调度任务,承接大模型推理、AI 内容生成、科研仿真这类业务,主流显卡基本都兼容,单卡、多卡集群都能接进来管理。
如今平台接入有 400 余张 GPU,覆盖RTX 3090、4090、5090 这些常见型号,它不是清一色同型号的算力池,需求方可以结合自己的任务、显存需求和预算自行选卡,之后资源定向分配,从轻量到高负载的大模型推理都能覆盖,不同代际显卡都能充分利用,提升整体GPU资源的利用率。
除了大型集中智算中心,分布式调度是算力供给很好的补充。把市面上闲置的 GPU 盘活,给中小 AI 团队、工作室多一个弹性算力选项。和重资产的智算园区不一样,星松云核心不在于自建机房硬件,而是汇聚分散在各处的闲置 GPU 节点,把散户手里的显卡资源统筹起来;再通过资源编排、任务下发、节点监控这套调度能力,在用户选定显卡后,把任务下发到对应的硬件运行。
眼下星松云主要在打磨调度技术、完善节点运维,把整套服务流程做标准化。后台配套资源监控模块,可实时统计各型号 GPU 存量、在线状态与任务调用情况,保障算力任务有序分发。作为算力调度基础设施,平台也一直在跟着 AI 行业的变化调整,承接更多不一样的算力需求。
国内算力基建还在持续建设,分布式调度已经是算力生态里重要一环,服务越来越多 AI 相关业务。星松云也会持续优化调度能力,去适配大小不一、场景各异的算力需求。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.