德国开源 78B 模型：激活 3.46B，上下文 1M token？

随手先关注，不错过每日AI热讯速递

10 月 3 日，德国 AI 公司Aleph Alpha正式开源大模型Kolibri（德语意为「蜂鸟」）：总参数78B、每 token 只激活3.46B的混合专家架构[1][2]。

权重以 Apache 2.0 许可全量上架 Hugging Face，可商用、可本地部署，FP8 精度为主版本[1][2]。

这家海德堡公司给自己的定位是欧洲「主权 AI」——这次开源，是它对「欧盟严监管抑制创新」论调的一次正面回击。

①

先看硬指标。Kolibri 是德英双语混合专家模型（Mixture-of-Experts，MoE：把大参数量拆成多个「专家」网络，每次推理只唤醒一小部分，用小模型的成本换大模型的容量）[1]。

模型卡的精确数字是：总参数78,103,074,560，每 token 激活3,457,573,120[2]。

上下文是最大卖点：原生支持262,144 token，实测最长到 1,048,576 token（即 1M），官方建议实际服务控制在 262,144 token 以内以保证效率[2][3]。

图来源：Aleph Alpha 官方博客页[1]

②

训练规模也全部公开：768 张 B200 GPU分三阶段完成——20T token 预训练（21 天）、3.44T token 中期训练、200B token 长上下文适配，合计近24T token[1]。

数据配方颇有欧洲特色：德语有机语料占预训练 token 的21.3%，翻译语料只占6%——官方强调这是「为双语而设计」的原生模型，不是「读过些德语的英语模型」[1]。

主权叙事落在基础设施上：模型在德国建造，训练算力位于德国与芬兰，「受欧洲与德国法律管辖，无外国控制」，从数据策展到训练评估的端到端管线全部自有[1]。

技术路径上，它是前代Kolibri Origin（30B 总参、3B 激活、65k 上下文）的全面放大版——后者从未公开发布，专门用来验证这条训练管线[1]。

图来源：Hugging Face 官方模型卡[2]

③

发布当天的行业反响值得玩味。Cohere 官方账号当天转发并评价：

「New Apache 2.0 model from @Aleph__Alpha. It's really good. If you like that, you're going to love what we build together.」

——Cohere 评价称，来自 Aleph Alpha 的新 Apache 2.0 模型确实出色，如果你喜欢它，你会更期待两家一起构建的东西[4]。

这句「一起构建」意味深长：Aleph Alpha 与 Cohere 此前已围绕主权 AI 达成深度合作——加拿大公司+德国工程队的组合，把 Kolibri 的开源变成了这套合作的延续。

性能数字则需要冷静看待：官方称 Kolibri 在长上下文任务上能匹配「激活参数四倍于己」的模型（如Nemotron 3 Super）——但所有基准均为厂商自报，对手由厂商挑选，尚无独立第三方复现[1]。

推理架构的选择同样值得注意：78B 总参只激活 3.46B，意味着以更小的激活规模控制推理成本——官方把这一权衡称为「质量-服务成本」的帕累托前沿[1]。

模型卡讨论区当天已热闹起来：transformers 适配讨论、Apple Silicon 量化版本请求接连出现，社区热情是真的，等待验证也是真的。

④

把 Kolibri 放回大盘里看，它的意义不在「把谁比下去」，而在示范了一条差异化路线：用区域语言数据+合规叙事+开源权重，在巨头专注英语与通用市场的另一侧，走区域差异化的路线。

对受监管行业（公共管理、工业、航天）而言，「合规即继承属性」的卖点足够具体；对欧洲政策制定者而言，这是一个「监管不必然扼杀创新」的活样本。

对中国从业者的参照在于：当英语数据红利见顶，非英语母语市场的数据工程正成为差异化竞争的要素之一——21.3% 的德语占比背后，是一整套有机语料的建设方法。

至于 1M token 上下文的现实意义：整本技术手册、整个代码仓库可以一次塞进对话窗口，这让「主权模型」在政务与工业文档场景里有了实际的生产力想象空间[2]。

78B 开源、3.46B 激活、1M 上下文——欧洲的「主权模型」答卷已交，你觉得这条路线走得通吗？评论区聊聊。

参考来源：

[1] Kolibri Has Landed: A Sovereign Open-Weight Modelhttps://aleph-alpha.com/en/blog/kolibri-has-landed-a-sovereign-open-weight-model/

[2] Aleph-Alpha/Kolibri-1https://huggingface.co/Aleph-Alpha/Kolibri-1

[3] Small bird, fast wings, Kolibri is here. 78B parameters. 3.46B active. Up to 1M tokens of context. Built in Europe.https://x.com/Aleph__Alpha/status/2106306840657297814

[4] New Apache 2.0 model from @Aleph__Alpha. It's really good.https://x.com/cohere/status/2106454131023995094

欢迎点赞、分享、推荐

一起拥抱AI