广东
微软人工智能研究团队近日详细介绍了最新开发的基础模型 MAI-Base-2，并称其在效率上显著优于领先的开源替代方案。
MAI-Base-2 并非一款直接可用的大型语言模型（LLM），而是一个去繁就简的原型基础模型。开发者需通过多轮额外训练，为其增加推理功能和安全护栏，才能将其转化为完整的 LLM。
性能与架构优势
目前市场上最强大的开源基础模型为 DeepSeek-V4-Pro-Base。微软表示，在涵盖科学、编程和数学问题的一系列内部基准测试中，MAI-Base-2 的表现优于前者。在某些指标上，其硬件效率更是高达 DeepSeek 的 12 倍。
这一性能突破得益于其采用的混合专家（MoE）架构。与微软上一代将 MoE 层与前馈神经网络（FFN）模块混合的设计不同，MAI-Base-2 完全由 MoE 层构成。该模型拥有 2 万亿参数，但在处理提示词时仅激活其中的 800 亿个，通过仅调用部分人工神经元而非整个神经网络，实现了更高的计算效率。
训练规模与技术细节
微软动用 1.6 万块英伟达 GB200 芯片，耗时 38 天完成了该模型的训练。训练数据集包含 50 万亿个标记，其中约五分之一用于训练集成在模型中的计算机视觉模块，这使 MAI-Base-2 在理解科学图表等任务上的表现优于前身。
在训练过程中，微软采用“梯度裁剪”技术防止因梯度变化导致的错误，并使用开源 AI 工具 Muon 加速训练流程。这种由算法生成的反馈以“梯度”形式穿过模型各层，重新校准每一层以提升输出质量。
微软计划通过 Azure 云平台向“受信任的合作伙伴”许可 MAI-Base-2 的权重，并利用该模型驱动一系列新的 LLM。公司表示，将在不久后分享关于这些衍生模型的更多信息。
【星途科讯 图文丨略略 首发于ZAKER科技，转载请注明出处】
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
