北京
分享至
一项基准研究对编码会话中附加技能文件的做法提出质疑。结果显示，在全部4个模型上，为每个提示注入技能反而让堆栈匹配对的平均Pass@2降低1.3至4.2个点。
成本与损失分布
注入技能的同时，token成本至少增加72%。损失并非均匀分布，而是集中在简单早期任务上，降幅达到4.0至10.7个点。
研究建议
研究据此提出，不应把技能注入当作通用增益，而应视为按后端衡量的路由决策。也就是说，是否注入、注入哪些技能，需要结合具体后端条件来判断。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
