贾佳亚团队新作：10k数据让大模型数学能力超GPT-4

港中文贾佳亚团队 投稿
量子位 | 公众号 QbitAI

只要10k数据，就能让大模型的数学成绩增长5.6%。

港中文贾佳亚团队推出了基于推理步骤的大模型优化策略，能够像老师教学生一样优化大模型。

利用这种方法，72B Qwen模型的数学成绩超越了GPT-4、Gemini1.5-Pro和Claude3-Opus等一众闭源模型。

老师在纠正学生错误时，不会只告诉学生最终答案错了，还会告知具体哪个步骤错了，以此快速纠正其错误。

贾佳亚团队正是学习了这一特点，将斯坦福团队推出的DPO（直接偏好优化）进一步细化，形成了逐步应用的策略Step-DPO。

该方法让Qwen-72B模型在多个数据集上进步明显，同时也获得了更强的长链条推理任务能力。

像教育学生一样训练大模型

如何强化推理能力，一直是大语言模型领域的重要问题之一。

常见的思维链策略通过在输入提示词部分添加“Let’s think step by step.”，来使模型在输出中完成逐步推理，但对于复杂的问题，仅通过修改提示词不足以引导模型正确解决问题。

由于复杂问题涉及的推理过程较长，有时包含数十个推理步骤，一旦其中任一步骤出错，就难以得到正确的结果。

此外，现有方案旨在通过监督式微调（SFT）阶段增加问答数据以实现更好的对齐。

然而，当SFT数据达到一定数量时，模型经常出现幻觉，性能也随之趋于饱和。

一个潜在的原因是，随着偏好输出的概率上升，非偏好输出的概率也会随之增加。

为了抑制幻觉，提升模型的事实性，斯坦福大学提出了直接偏好优化方法，其工作原理是创建基于人类偏好对的数据集，每个偏好对都包含一个输入提示、偏好输出以及非偏好输出。

然后对语言模型直接进行微调，最大限度地提高生成的可能性，并减少输出的可能性。

因此，DPO的优化目标为：

其中π_θ与π_ref分别表示当前微调模型以及参照模型。

但在长链条推理任务中，DPO无法准确判断推理过程中的错误步骤，从而无法聚焦关键出错步骤。

如下图所示，基于DPO的模型在训练过程中无法准确判断推理步骤正确与否。

因此，作者提出了基于推理步骤的直接偏好优化——Step-DPO。

就像老师在纠正学生错误时，不会只告诉学生最终答案错了，还会告知具体哪个步骤错了，以此快速纠正其错误。

与此类似，Step-DPO不再像DPO从整体上对比答案，而是将每个推理步骤视为一个基本单元，并且对比单个推理步骤，从更精细的角度提升模型的多步推理分析能力。

Step-DPO的优化目标为：

除此之外，作者还提出基于模型自生成的数据处理流程。如图所示，该流程包含以下三个步骤：

第一步是错误收集。

首先，给定一组数学问题D_0=(x,y^)，其中x是数学问题，y^是其真实答案。

然后，使用初始模型πref来得到每个数学问题x的答案。

在进行模型推理之前，需要添加思维链（CoT）前缀作为提示，以确保模型的推理结果被结构化为多个推理步骤，每个步骤均以“Step i：”开始。

经过模型推理可得到每个数学问题x的推理结果y，然后选择与真实答案y^不一致的那些结果，并汇总得到数据集D_1：

第二步是错误步骤定位。

每个错误推理结果y都呈现为一系列推理步骤的序列y=s_1,s_2,…,s_n，随后需要人工或利用GPT-4验证每个推理步骤的正确性，直到找到第一个错误步骤s_k，并记录其步骤编号。

然后将sk选为错误的推理步骤s_lose，从而得到D2：

最后是错误步骤修正。

为了获得D2中每个样本对应的正确推理步骤，需要对模型π_ref进行推断，使用提示x和前面的正确推理步骤s_1~k-1来采样多个输出y_cont，此过程可以表示为：

随后保留ycont中那些与真实答案一致的输出，并将其中的第一个推理步骤作为s_win，最终得到数据集D：

下图展示了一个数据样本示例。值得一提的是，该数据准备流程无需大量的人工介入，人类或GPT-4只需要判断给定推理步骤是否正确，而无需亲自撰写答案来修正错误。

10k数据带来数学能力大幅提升

Step-DPO可以在SFT模型或现有的开源Instruct模型上进行微调，仅通过10K数据以及数百个训练步数，即可取得大幅度的数学能力提升。

如下图所示，在Qwen2-7B-Instruct模型的基础上进行Step-DPO可在MATH测试集上获得5.6%准确率的提升。

在Qwen2-72B-Instruct模型的基础上进行Step-DPO，可在MATH和GSM8K测试集的准确率分别达到70.8%和94.0%，超过一系列闭源模型如Gemini-1.5-Pro、GPT-4-1106，以及Claude-3-Opus。

除此之外，在难度较高的包含数学竞赛题的Odyssey-MATH榜单上也有显著提升。

经过Step-DPO之后，模型更加鲁棒，减少幻觉的产生，在推理过程中也不容易出错。如以下两个例子所示。

假设h(x)=f-1(x)，如果h(2)=10，h(10)=1，h(1)=2，求f(f(10))。

t的平方根大于2且小于3.5，满足这一条件的整数t有多少个？

即便是下图这道数学竞赛题，经过Step-DPO之后的模型也可以做对。

在所有非增函数f:{1,2,…,10}→{1,2,…,10}中，有些函数有固定点，另一些没有，这两种函数的数量相差多少？

目前，该项目的代码，数据，模型，Demo均已公开至GitHub和Hugging Face，同时支持在线体验。

论文地址：
https://arxiv.org/abs/2406.18629
GitHub：
https://github.com/dvlab-research/Step-DPO
在线Demo：
http://103.170.5.190:7870/
模型（HF）：
https://huggingface.co/collections/xinlai/step-dpo-6682e12dfbbb2917c8161df7
数据（HF）：
https://huggingface.co/datasets/xinlai/Math-Step-DPO-10K