数千大模型全跑「中国芯」！最后一公里已「焊」通

新智元报道

编辑：编辑部

【新智元导读】模型落地中国芯取得关键突破！这得益于一个AI开源社区，以生态协作之力打通了AI落地的最后一公里。目前已有上千模型成功适配国产算力。从此，国产算力孤岛彻底打破，众多AI厂商积极上车，开发者狂喜！

这是一张魔改的4090显卡，它有48GB显存，价格2万元。

这是苹果最高配置的Mac Studio，它支持512GB统一内存，价值约10万元。

这是英伟达GB200 NVL72服务器，它搭载了36个Grace CPU和72个Blackwell GPU，总显存高达13.5TB，售价超过2000万元。

随着开源模型的爆发，国产模型自2024年起不仅在数量上实现了猛增，而且还在性能上长期霸占着全球的SOTA。

在如此丰富的生态之下，不管是企业还是极客，都在想办法「玩转」大模型。

软件上，众多开源社区兴起，像Hugging Face等社区等可以下载到国内外最新的开源模型。

硬件上，华强北在大秀「焊接工艺」，国外的科技巨头则搞出了堪比硬盘容量的巨大内存。与此同时，国产芯片也在加速崛起，比如华为的昇腾Ascend系列、寒武纪的思元系列。

然而，相比于开源模型在英伟达AMD和苹果上的「即拿即用」体验相比，国产芯片运行大模型常需额外适配。

这一差距源于多重挑战：

• 国产芯片自身之间存在较大的架构差异，需针对性重构优化推理逻辑。

• • 每个芯片都有自己配套的推理引擎，需要专门适配、调度、加速。

  • 部署方案需要「量身定制」，比如通过「量化」压缩体积，或者通过「算子融合」提高速度。

  • 由此也让模型和国产芯片的一对多适配，成本陡增。

• 适配工作要依靠模型厂商、芯片企业和开发者的自发投入，力量非常分散、高度碎片化。

并且，开源大模型不是一个像过去软件时代GitHub上的某个「整包软件」，而是包含三个部分：模型架构+预训练权重+推理代码。

主流平台（如Hugging Face）虽高效分发模型，却并不注重模型的异构算力适配。由于缺乏协同平台，导致异构算力推理适配重复开发率高。

在此背景下，有一个AI开源社区，以开源模型推理适配的协作模式破局。

这就是魔乐社区——Modelers.cn，AI爱好者和开发者的家园。

那么，这个魔乐社区和我们熟知的Hugging Face等平台有什么区别呢？

大模型开源社区，应该是什么样子？

过去Linux代表的开源软件有三个特征：源码开放、源码分发以及最重要的源码协作。

GitHub通过Git仓库实现了这一点，让代码协作成本极低，任何人都能本地运行、参与迭代。但大模型的开源生态，显然要复杂得多。

开源大模型可以拆解为：模型架构、模型权重和推理代码三个部分。

• 模型架构：基本都开源，也基本是经典的Transformer，或者如MoE等其他变种，总之查阅论文就可以看到；

• 模型权重：也就是模型的参数，也基本上都会在Hugging Face等类似平台开源分发，下载即可；

• 推理代码：指的是用于加载权重、执行模型计算、生成文本的程序，决定了模型是否可以在你的设备上跑起来，以及怎么跑、跑得多快。这是模型开源最关键的环节之一，直接决定你能否顺利使用。

模型创作者的精力主要聚焦在模型训练和基础开源等相关工作，难以兼顾在各种硬件上的推理适配。

而这也导致了一种尴尬的局面：「开源模型，闭源体验」。

很多人想玩大模型，好不容易下载完开源模型的权重，却发现因为缺乏适配自身硬件（如国产芯片）的推理代码，根本跑不动。

HF虽提供通用接口，但对异构算力的深度适配缺乏系统性支持。

Ollama、LMStudio等工具试图降低门槛，但它们也更多是「消费者」式的封装——用户能便捷使用，但是难以参与底层适配优化。

而魔乐社区的差异，就在于从「模型分发」转向「全链路协作」：不止提供模型与权重，更聚焦模型的协同开发和适配，实现「开源模型，开源体验」。

为国产AI，建一个更完善的开源生态！

所谓生态，尤其是开源技术生态通常有两种形态：

• 一种是共同体生态，例如Linux，以核心项目为锚点，开发者为这个项目不断添砖加瓦。

靠着热爱和极客精神，Linux和Windows、MacOS并驾齐驱，后两者都是这个星球上最有钱的两家公司的闭源产品。

• 另外一种就是平台型生态，例如GitHub、Hugging Face，提供标准化的基础设施。

你可以在GitHub上找到前端、后端、Python、Go、数据库等几乎所有技术栈开源项目；也可以在Hugging Face上找到DeepSeek-R1、通义千问、Llama等各种模型，模型尺寸从1B到500B应有尽有。

Hugging Face和GitHub虽然都是开源平台，但由于AI技术的特殊性，两者在适用性上存在显著差异。

GitHub作为通用代码托管平台，其项目通常具备跨平台特性，能够适配Linux、Windows、macOS等多种操作系统，支持全球开发者协作开发。

而Hugging Face作为AI模型共享平台，其项目往往对计算硬件有较高要求，特别是依赖特定硬件生态进行模型训练和推理，在国产芯片等异构硬件上的适配存在门槛。

此外，国际平台的地缘政治风险也不容忽视，可能对国产模型的开源传播构成潜在限制。

这就是AI开源生态中最大的那个问题：构建自主可控的AI开源生态，不仅是技术问题，更是战略需求。我们需要一个更开放、更适配国产硬件的AI开源平台，让全球开发者无障碍参与。

魔乐作战计划

当然，AI生态的完善是系统性工程——硬件迭代、工具打磨、推理引擎优化、算子库建设等环节，都需要长期积累，难以一蹴而就。

尽管面临诸多挑战，但魔乐还是坚定的选择深耕这条道路，并肩负起了属于它的使命：

1. 团结国产人工智能的产业链，推动协同

2. 务实地解决产业链的核心痛点

3. 通过开源协作与知识共享，加速人才成长

4. 壮大AI开发者和爱好者群体，形成一个「贡献-受益」的正向循环

考虑到行业的发展进程，魔乐社区将当前的任务重点聚焦在打通打通模型与国产硬件的适配壁垒，让开源生态的协同价值真正落地。

让模型跑遍「中国芯」

模型既然都开源了，大家都可以下载使用了，链条似乎都打通了，那产业链问题从何谈起？

年初，DeepSeek引燃了全球对于开源模型的激情，但也暴露出模型适配的产业链难题。

因为模型推理并非简单的下载和移植，而是需要确保模型在目标硬件上实现高性能、低延迟和高稳定运行。

我们无法否认的现状是：国内AI芯片的发展势头一片大好，但模型与硬件的适配生态仍面临挑战：大量开源模型无法直接在国产芯片上高效运行，适配工具分散、技术标准不统一，导致算力有了，模型却用不起来。

如何解决这个问题，就是魔乐社区的差异化价值：不止于模型分发，更聚焦「模型-硬件」的深度适配协同。

在魔乐上，你可以找到国产化适配的各类模型，既有主流的DeepSeek-V3，也有医疗垂直领域的大模型

目前大部分AI开源平台以模型分发和使用为主，没有解决模型推理适配的协同开发问题，亟需公共生态平台破解协同效率难题。

为此，魔乐社区推出「模型推理适配协作计划」，通过集合开源和开发者力量，打通国产算力与大模型应用的「最后一公里」。

• 开放协作机制：号召开发者、算法团队、硬件厂商与应用方协同参与，解决模型在国产芯片上的兼容性、性能及稳定性难题；

• 提供全栈支持：共建适配知识库，为选定模型提供从工具、流程、教程等的支持。

• 生态基础设施：打造适配成果共享平台，实现推理适配结果的高效检索、复用与迭代。

与此同时，魔乐社区还将为参与者构建强大的底层支撑体系，启动国产硬件与相应工具生态的深度对接。

他们除了会联动壁仞科技、海光、华为（昇腾）、摩尔线程、沐曦、算能、燧原科技等国产算力厂商（按中文首字母排序，无先后顺序），为开发者提供硬件、工具和技术支持外。

还会整合多元化适配和推理软件生态，并联合生态伙伴，助力开发者快速掌握适配工具链，实现跨硬件平台与引擎组合的深度推理性能调优。

不可否认的是，因为比起英伟达CUDA生态先天优势，国产算力生态目前仍有差距。

魔乐社区，也希望能破局突围，通过硬件厂商、软件工具链与开发者的协同体系，打造出一个高效、开放、可深度参与的闭环生态，加速模型迁移、部署与应用效率。

用协作打破孤岛

当前AI开源生态还处于非常早期的阶段。

多数平台目前虽然有很多开源项目，但多以模型托管和分发为核心。

魔乐社区的诞生，正是为了突破这一局限——破解开源模型与国产算力的适配协作壁垒。

具体来看，当开源模型入驻魔乐社区后，社区将激活模型开发者、芯片厂商、工具方等多方协同：开发者可深度参与推理代码优化，甚至适配各类推理引擎；芯片与工具厂商提供技术支持，共同推动适配方案迭代。

经社区审核与持续打磨，这些协作成果能在短期内实现模型在主流国产芯片上的顺畅运行，且性能随优化不断提升。

这一过程中，各方投入被简化：芯片厂商无需额外投入大量资源，模型团队可专注核心训练，工具厂商仅需提供基础支持。以最小成本参与，却能通过社区平台汇聚成生态合力，加速模型从开源到落地的全流程。

这种协作模式并非个例，而是适用于所有开源模型的普适性路径

模型的推理适配协作是个起点，接下来，魔乐社区将分阶段推进生态建设：第二阶段计划实现模型、数据与应用层的协同联动；第三阶段则聚焦训练环节的协作体系搭建，让模型研发过程更高效地汇聚开发者智慧。

待推理协作机制成熟后，社区还将探索提供公益性算力支持部署，进一步降低开发者的落地门槛。

当前开源模型数量已超数万，但能与国产算力深度适配的仅数百款，多数模型仍依赖Ollama、vLLM等国外工具链运行。这种「模型多、适配少」的现状，凸显了国产算力生态的碎片化问题。

因此，号召更多开发者参与适配工作至关重要，为国产芯片的适配贡献一份力量，而不是让国产生态停留在一座座孤岛。

这种协作力量在社区中已初显：许多开发者正积极投身技术适配，为国产AI生态完善贡献力量。

目前，魔乐社区上的多数模型已完成国产算力的适配。同时，社区还依托这些适配成果，正式上线了AIGC专区——开发者与创作者可直接调用社区内的开源模型，基于国产算力快速生成图像内容。

这一专区的落地，正是魔乐用生态合力打通「模型-算力-应用」链路的生动例证，也让大家看到国产AI生态从「能跑通」到「用得顺」的扎实进展。

魔乐社区赛事体系点燃开发者热情

为激发国产AI创新活力，魔乐社区持续推出各种技术赛事，为开发者搭建实战舞台。

2025全国高性能云计算创新大赛（2025MAXP大赛）

这场赛事紧密围绕「国芯国用」核心主题，旨在通过搭建技术交流与成果转化平台，加速国产算力芯片及智能算法的协同创新。

2025MAXP大赛不仅有阵容强大的组委会，更设计了丰富的赛题，包括了创新赛、命题赛、性能赛和打榜赛，还有丰富的激励机制。

大赛详情可查看：https://modelers.cn/race/453

AIGC创作打榜活动

同步进行的还有魔乐社区近期上线的「基于国产算力的AIGC创作专区」特色活动。 开发者、创作者及爱好者可免费使用社区提供的NPU算力资源与专业创作工具，体验高效、低成本的AIGC开发流程，在实战中比拼创意与技术，共同探索国产算力驱动的生成式AI应用场景。

专区访问链接：https://modelers.cn/topics/aigc

无论你是AI技术爱好者，还是深耕领域的开发者，都可以一展身手——在国产算力生态的建设中，让每一份创新热情都能转化为推动行业进步的力量。

参考资料：

https://modelers.cn/