北京
分享至
一篇新论文提出了一个叫 Select to Think 的方法，结论有点反直觉：大模型推理时选出的 token，大多落在小模型候选列表的前 8 名里。
这意味着推理这件事，未必需要每一步都从头生成。把生成换成选择，小模型也能接住大模型的判断。
推理被重新定义成一道选择题
论文的核心发现是，大模型选中的 token 基本都在小模型 top-8 候选范围内。既然答案早就在候选池里，那要做的就不是生成，而是挑出来。
顺着这个思路，把这条选择轨迹蒸馏回小模型，单条轨迹的表现就能接近 8 条路径的一致性水平。
小模型的价值被重新计算
过去衡量小模型，看的是它能不能独立生成正确答案。Select to Think 换了个角度：小模型负责提供候选，选择交给更强的判断力。
生成和选择，哪个更重要，这篇论文给出了自己的答案。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
