网易首页 > 网易号 > 正文 申请入驻

德国“主权 AI”自曝:GLM、Qwen 成主要数据生成模型

0
分享至


近日,德国 AI 公司 Aleph Alpha 发布新一代开放权重模型 Kolibri,将其定位为面向政府、工业和航空航天等受监管领域的“主权 AI”。


不过,随模型公开的 189 页技术报告披露,在监督微调(SFT)数据生产过程中,智谱 GLM-5.2、GLM-5.3 和阿里 Qwen3.8-27B,被列为生成数据以及重新生成部分开放数据的主要模型。

Kolibri 采用 MoE 架构,总参数量为 781 亿,每个 Token 激活 34.6 亿参数,最高支持 100 万 Token 上下文,以 Apache 2.0 许可证开放权重。

Aleph Alpha 称,该模型由德国团队端到端开发,在德国和芬兰的基础设施上训练,掌握从数据整理、模型架构、预训练、后训练到评测的完整开发流程,并将这种能力称为“完整供应链完整性”。

技术报告 3.1.1 节披露了其后训练数据的具体生产方式。

Aleph Alpha 明确表示,用于生成这些数据以及重新生成部分开放数据的主要模型包括 GLM-5.2、GLM-5.3、Qwen3.8-27B。


不同模型根据各自特点承担不同任务,例如较小模型处理长上下文任务速度更快,而较大模型更适合生成较强的推理轨迹。

其中一项重要工作是重新生成 NVIDIA Nemotron 的部分开放数据。

Aleph Alpha 称,团队抽查候选训练数据时发现,一些答案质量参差不齐,其中包括科学问题的错误答案,直接用于训练甚至会导致模型基准测试成绩下降。

为此,团队以 Nemotron-Instruction-Following-Chat-v1 和 Nemotron-SFT-Instruction-Following-Chat-v2 的数据作为种子,使用 GLM-5.2 和 GLM-5.3 重新生成答案。

对于 Nemotron-SFT-Instruction-Following-Chat-v2 中关闭推理的子集,团队还专门生成不包含推理过程的答案,并通过用户模拟器按照原始用户的表达方式和意图继续提问,将单段对话扩展至最多 50 轮,以弥补开放数据中长对话样本不足的问题。

Nemotron-SFT-Science-v2 中的合成科学选择题,则由 Qwen3.8-27B 重新生成答案。

GLM 和 Qwen 还参与了其他类型的 SFT 数据生产。

在德语通用聊天数据中,GLM-5.3 用于生成带推理过程的回答,Qwen3.8-27B 用于生成不带推理过程的回答。

德语工具调用数据则使用 GLM-5.2 搜索德语维基百科,并生成相应的问答和工具调用轨迹。

数学和科学数据同样使用 GLM-5.3。

Aleph Alpha 先让模型将高难度数学和科学题改写成自然德语,再由另一个 GLM-5.3 实例求解,只有最终答案与原始参考答案一致的数据才会保留。

在软件工程数据生产中,GLM-5.2 被用于探索 SWE-rebench V2 中的代码仓库并生成修复补丁;GLM-5.3 则被用于向 Python 项目注入小型 Bug、生成 Bug 报告,再由另一个 GLM-5.3 实例尝试完成修复。

技术报告还披露了 Kolibri SFT 数据池的构成。

整个数据池包含 57 个数据集、2200 万条样本和 3358 亿 Token,覆盖聊天、代码、数学、长上下文、工具调用、科学以及安全与对齐七个领域。

按 Token 计算,其中 36.1% 为原样使用的开放数据,31.7% 为经过重新生成答案、补充合成推理或翻译的开放数据,另外 32.1% 为 Aleph Alpha 自行生成的数据。

接近三分之二的数据经过重新生成、加工或由 Aleph Alpha 自行生产。

最终模型并非简单将整个数据池训练一遍。

Aleph Alpha 使用 MergeMix 为不同类型的数据确定混合比例,报告总结显示,Kolibri 后训练首先进行了累计 5370 亿 Token 的 SFT,随后又在超过 120 万项内部整理任务上进行强化学习,覆盖推理、工具使用、指令遵循、代码和检索等能力。

报告没有披露 GLM-5.2、GLM-5.3、Qwen3.8-27B 分别生成了多少 Token,也没有给出这些数据占最终 SFT 训练量的具体比例。

Kolibri 的基础模型则由 Aleph Alpha 自行训练。

模型首先在 768 块 NVIDIA B200 GPU 上完成 20 万亿 Token 的预训练,序列长度为 16K,耗时 21 天;随后进行 3.44 万亿 Token 的中期训练和 2000 亿 Token 的长上下文扩展,总训练规模接近 24 万亿 Token。

为了获得最终 20 万亿 Token 的预训练数据,其数据流水线最初处理了超过 200 万亿 Token 的原始数据。



德语占最终预训练 Token 的 21.3%,约 4.3 万亿 Token。

论文进一步披露,约 24%、即 4.8 万亿 Token 的预训练数据具有合成来源,包括改写和翻译。这些合成数据也并非全部由 GLM 和 Qwen 生成,例如部分英语 Common Crawl 数据使用 Gemma-4-26B-A4B 进行合成改写。

从最终性能看,Aleph Alpha 自己的评测显示,Kolibri 英语和德语综合得分分别为 75.5 和 70.8,在其比较的同等激活参数规模 MoE 模型中表现领先。

作为 Kolibri 后训练数据生成模型之一的 Qwen3.8-27B,则分别达到 80.2 和 79.9,高于 Kolibri,不过其每个 Token 激活的参数量接近 Kolibri 的 8 倍。

云头条声明:如以上内容有误或侵犯到你公司、机构、单位或个人权益,请联系我们说明理由,我们会配合,无条件删除处理。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中信建投证券首席经济学家黄文涛:资本市场终将回归基本面定价,震荡之中孕育长期配置机遇

中信建投证券首席经济学家黄文涛:资本市场终将回归基本面定价,震荡之中孕育长期配置机遇

每日经济新闻
2026-11-20 15:02:03
腰臀比例太出众!西班牙莱昂诺尔公主最新街拍,镜头表现力完胜妹妹!

腰臀比例太出众!西班牙莱昂诺尔公主最新街拍,镜头表现力完胜妹妹!

东方不败然多多
2026-11-20 15:29:12
市场监管总局赴河南、重庆、陕西等地开展“清风铁纪”教育整顿“回头看”

市场监管总局赴河南、重庆、陕西等地开展“清风铁纪”教育整顿“回头看”

界面新闻
2026-11-20 17:14:14
河南“骑行大佬”刘旭去世,年仅33岁有田有店,友人曝死因太可惜

河南“骑行大佬”刘旭去世,年仅33岁有田有店,友人曝死因太可惜

嫹笔牂牂
2026-11-20 07:28:58
宁愿把80%石油绕远送欧洲,也不愿就近多给中国,到底图什么?

宁愿把80%石油绕远送欧洲,也不愿就近多给中国,到底图什么?

慕名而来只为你
2026-11-19 21:45:20
普京:克里米亚大桥遭袭后 不再讨论海上停火

普京:克里米亚大桥遭袭后 不再讨论海上停火

新华社
2026-11-20 03:13:04
李亚鹏被送急诊不到一周,王菲母女就开始为他争光,谢霆锋挺尴尬

李亚鹏被送急诊不到一周,王菲母女就开始为他争光,谢霆锋挺尴尬

触摸史迹
2026-11-20 09:46:45
有人把GTA6三家脱衣舞俱乐部全跑了一遍,最贵那家300美元

有人把GTA6三家脱衣舞俱乐部全跑了一遍,最贵那家300美元

队友祭天法力无边
2026-11-19 20:21:43
伊能静《后会友期》表现引热议,伊能静一眼看破所有嘉宾登上热搜

伊能静《后会友期》表现引热议,伊能静一眼看破所有嘉宾登上热搜

韩小娱
2026-11-20 06:11:24
被叫老板娘7年,张萌终于翻脸

被叫老板娘7年,张萌终于翻脸

她刊
2026-11-19 20:48:11
账户躺着80亿,不结婚不生孩子,62岁的张朝阳为啥还在折腾?

账户躺着80亿,不结婚不生孩子,62岁的张朝阳为啥还在折腾?

李砍柴
2026-11-19 21:47:45
“中国要被我们拖垮了!”2024年,韩国上千人拒绝吃从中国进口的中国白菜,本想给我们个“下马威”,结果自己撑不住了

“中国要被我们拖垮了!”2024年,韩国上千人拒绝吃从中国进口的中国白菜,本想给我们个“下马威”,结果自己撑不住了

扶苏聊历史
2026-11-16 17:33:26
河北富商相亲发现小23岁对象酷似亡妻,DNA检测后傻眼:怎么可能

河北富商相亲发现小23岁对象酷似亡妻,DNA检测后傻眼:怎么可能

罪案洞察者
2025-07-09 11:51:52
“香港名媛蔡天凤碎尸案”重大进展:前夫兄长当庭指认弟弟是真凶

“香港名媛蔡天凤碎尸案”重大进展:前夫兄长当庭指认弟弟是真凶

水母真探社
2026-11-20 11:14:35
羽毛球世界冠军周昊东兴奋剂检测结果阳性,被禁赛3年;教练被禁赛1年半,浙江体育职业技术学院被警告

羽毛球世界冠军周昊东兴奋剂检测结果阳性,被禁赛3年;教练被禁赛1年半,浙江体育职业技术学院被警告

极目新闻
2026-11-20 20:58:44
机构扛不住了!8只基金清盘险资亏3500亿,散户切勿硬扛

机构扛不住了!8只基金清盘险资亏3500亿,散户切勿硬扛

小蜜情感说
2026-11-20 06:38:20
新一代本田冠道发布:新增三排成七座、中国特供变全球

新一代本田冠道发布:新增三排成七座、中国特供变全球

快科技
2026-11-20 16:43:35
人事|邵军任上海市科委主任

人事|邵军任上海市科委主任

上观新闻
2026-11-20 19:23:37
2400万降到400万,胖东来原房东租金一降再降,奈何始终没人接盘

2400万降到400万,胖东来原房东租金一降再降,奈何始终没人接盘

琴琴有氧运动
2026-11-19 17:19:36
万万没想到!即使是一向沉着自信的普京,来到深圳之后,也掩饰不住羡慕之情,引发舆论热议!

万万没想到!即使是一向沉着自信的普京,来到深圳之后,也掩饰不住羡慕之情,引发舆论热议!

林杰论事
2026-11-20 12:34:54
2026-11-20 22:20:49
云头条 incentive-icons
云头条
引领科技变革,连接技术与商业。
22549文章数 27410关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

交钱5年房子没盖女子要求退房退款被拒 当地称可换房

头条要闻

交钱5年房子没盖女子要求退房退款被拒 当地称可换房

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
亲子
游戏
公开课
军事航空

旅游要闻

世界树下赴南美之约!静安大宁以展串市,解锁文商旅体展联动新范式

亲子要闻

奶奶给大孙买的草莓真甜,姥姥给的高粱米做一锅,焦黏喷香都爱吃

《GTA6》文件惨遭泄露 MOD作者:最快下周能移植PC

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版