北京
正文：Meta周一发布Muse Glimmer，一个300亿参数的开源权重模型，由Muse Spark蒸馏而来，采用Apache 2.0许可。真正值得注意的是，教师模型和学生模型同时发布，这对企业的模型管理意味着什么。 不到两周前，Sam Altman还说蒸馏不在他十大担忧之列，他一直认为强大且廉价的模型无论怎样都会存在。Meta随即用行动回应，把这项技术直接变成了产品线。 Meta同时发布了蒸馏链的两端：Glimmer由Spark蒸馏而来，并叠加监督微调和强化学习，针对编码、推理和智能体任务优化。Meta既是教师模型的所有者，也是学生模型的所有者，还宣布将开放Spark 1.2的权重。 模型卡对“学生不是什么”定义得很清楚：Glimmer因整体能力低于Spark，被排除在Meta高级AI扩展框架的前沿AI定义之外。Meta在准备度对比中将其描述为“总体上弱于Spark 1.0”。也就是说，Glimmer只是把教师能力的子集定向迁移到一个能跑在24GB机器上的模型。 过去大半年里，蒸馏常常被当成盗窃来讨论。四月白宫科技政策办公室的一份备忘录指责外国实体——主要基于中国——对美国前沿系统发动有组织的工业级攻击。马斯克四月三十日也作证说，xAI部分蒸馏过OpenAI的模型，并称用AI验证另一个AI是标准做法。 但同一份备忘录其实划出了一条界限：合法的蒸馏是构建开源模型的关键部分，反对的只是未经授权提取竞争对手的专有输出。可惜这条界限在报道中大多被忽略了。Meta这次直接把教师和学生模型打包发布，等于把蒸馏从争议名词变成了正式的产品管理策略。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
