北京
分享至
不重新训练，也不跑梯度，只动模型里0.016%的参数，数学能力最高提升6倍。这套做法被称作「Weight-Space 编程」。
据 Garry Tan 的介绍，执行这次编辑的是 GPT-4 Astra，被改的对象是 Qwen3.5-0.8B。它直接修改该模型的权重，用来修复推理环节的问题。
效果被归纳为两组数字：数学性能最高提升至6倍，指令跟随能力最高提升至3倍。整个过程不依赖梯度，也不需要训练。
值得关注的是改动比例——0.016%。在参数量以亿计的模型里，这是一个极小的切口，却对应着成倍的性能变化。
这条推文由 Garry Tan 发布，AI Screening 给出的评分为 85，归类为人工智能，阅读时长约 1 分钟。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
