北京
分享至
一个501B参数、上下文窗口拉到1M token的大模型，在推理框架 vLLM 里拿到了 Day-0 的强化学习支持。这个组合放在一起，信息量不小。
Reflection-Beam-1.0 这次进入 vLLM 的方式，不是先上线再慢慢补适配，而是发布即支持。支持清单里包括 LoRA、BF16 全参数微调，以及 MXFP8 精度的 RL 训练路径。
围绕这款模型，vLLM 侧还做了几件事：
- 混合注意力机制的支持
- Harmony-format 推理
- 工具使用能力
- 融合核（fused kernel）
- 与 DFlash 服务结合的优化
把 RL 训练和推理服务放进同一套框架里，是这次适配的核心看点。LoRA 负责轻量微调，BF16 全参数微调负责完整权重更新，MXFP8 则把 RL 阶段的精度压到更低——三条路径对应三种不同的算力预算。
1M token 的上下文窗口配上混合注意力，意味着长上下文场景下的推理成本结构会发生变化。这部分具体怎么省、省多少，vLLM 方面没有给出数字。
Day-0 支持这件事本身，对做 RL 训练的人来说比参数更有意义。模型发布当天就能在 vLLM 里跑起来，省掉的是自己写适配层的时间。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
