北京
分享至
斯坦福的研究人员提出了一种叫 NCM 的方法，全称是下一概念建模。它不再沿着自回归或扩散的老路走，而是用层级压缩的方式，让文本从粗到细地生成出来。
这套机制的核心在于分层。早期层负责捕获粗略结构，后期层再往上添加细节。变换器同时生成每一层的全部元素，解码器最后把表示转换回文本。因为早期层体积小，生成速度更快，需要的处理也更少。
基准测试给出的数字很直接：NCM 的生成速度比扩散基线快 10–31 倍，得分相当或更好，训练 token 数量减少 4–5 倍。对于关注训练成本和推理延迟的人来说，这两个倍数比任何架构名词都更有说服力。
不过它也有明确的边界。目前 NCM 的扩展上限在 7.25 亿参数，任务特定的分词器也是限制之一。最终解码时使用了重复惩罚，但不额外调用模型。
脱离自回归和扩散这两条主流路线，本身就是一个值得注意的信号。文本生成的速度与训练效率，正在被重新拆解成层级问题，而不是单纯堆叠算力。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
