北京
【CNMO科技消息】近日，由德国人工智能协会协调的一个研究联盟发布了开源大语言模型Soofi S 30B-A3B，该模型在德国电信位于慕尼黑的工业AI云基础设施上完成全部训练。
人工智能
其预训练报告显示，Soofi S在英语和德语基准测试中均取得了完全开源模型中的最高分，超越了此前领先的OLMo 3 32B和Apertus 70B等模型。
Soofi S采用混合专家架构，总参数量为316亿，但每个生成token仅激活约32亿参数，实际计算成本更接近30亿规模的稠密模型。
该联盟直接采用了英伟达Nemotron 3 Nano的混合架构设计，将Mamba-2层与标准注意力层相结合。
与传统Transformer模型相比，其核心差异在于内存行为——常规模型的KV缓存随上下文长度线性增长，在长输入和多请求并行时容易成为瓶颈，而Soofi S的52层中仅有6层需要维护此类缓存。
在实际生成吞吐量方面，当上下文长度为40000个token且并行请求数为32时，Soofi S的每GPU每秒生成token数约为140亿至240亿参数规模稠密模型的8倍。从4000到256000个token的上下文范围内，Soofi S的吞吐量几乎保持平稳，而常规模型则显著下降。在测试数据中，仅有阿里巴巴的Qwen3.5 35B-A3B表现出类似特性，后者同样采用了混合架构。
训练数据方面，联盟共处理了约27万亿个token，分为三个阶段。第一阶段使用约20万亿个token，来源涵盖网页、代码、数学和领域特定文本的广泛混合，用于建立语言基础。第二阶段使用约6万亿个更高质量的token，以强化已学习到的模式。第三阶段则通过训练最长可达100万个token的超长文档来扩展上下文窗口。
德语数据在整个训练中的占比被刻意提升，第一阶段占7.2%，第二阶段升至15.3%。相比之下，英伟达Nemotron的参考配方中，所有非英语语言合计仅占约5%。数据来源包括HPLT德语网页文本、德国公共领域语料库、FinePDFs和FineWiki的德语部分，以及Genios商业语料库中来自916家德国出版物的1.93亿篇报纸文章，辅以机器翻译和合成生成的德语文本。
在针对16个开源模型的评估中，Soofi S在德语和英语的 aggregate 分数上均领先于所有完全开源模型，包括艾伦人工智能研究所的OLMo 3 32B和苏黎世联邦理工学院及洛桑联邦理工学院的Apertus 70B。在欧洲主权基线模型中，Soofi S在所有德语基准测试中均排名第一，部分项目领先优势达到两位数。
代码能力方面，Soofi S在HumanEval上得分73.8%，MBPP上得分70.2%，德语版MBPP上得分84.2%，均为开源模型中的最佳成绩。在德国特定区域知识测试INCLUDE-DE上，Soofi S以61.2分与Qwen3.5 35B-A3B并列第一。与Nemotron基线相比，德语数据配方使语言能力提升了15.1分，科学测试GPQA-Diamond提升了9.6分，且未牺牲英语表现。
不过Soofi S也存在明显短板。在德国竞赛数学测试Minerva MATH-DE上，该模型仅得56分，远低于Qwen3.5 35B-A3B的76.5分和Gemma 3 27B的65.6分。在开放事实检索测试NaturalQuestions上也表现落后，这可能与仅32亿的激活参数量有关，其可存储的世界知识少于270亿的稠密模型。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
