代码竟成AI推理“新宠”?DeepSeek团队提出CodeI/O方法:另辟蹊径,解锁通用AI推理能力!
大家有没有感觉,AI在某些“窄技能”上表现惊艳,比如做数学题、写代码,但在更广泛的推理任务上,就有点力不从心了?就像咱平时说的,有点“偏科”啊!
这是为啥呢?研究人员发现,问题就出在训练数据上!像数学、代码生成这种任务,数据管够,模型学得就好。但像逻辑推理、科学推断、符号推理这些更通用的推理任务,训练数据就稀少且碎片化,模型自然就“吃不饱”
那咋办呢?难道通用AI推理能力提升就卡在这儿了?
来自DeepSeek团队的大神们最近发表了一篇论文,提出了一种名为CodeI/O的新方法,简直是另辟蹊径,让人眼前一亮!
我们一起来扒一扒这篇论文
CodeI/O 的核心思想简单来说就是:把代码变成AI推理的“养料”!
你可能会问,代码和推理有啥关系? 关系可大了!
研究人员发现,真实世界的代码程序,其实蕴含着丰富的推理模式! 想想我们写代码的过程:
•逻辑流程规划:先想好程序的大框架,一步步实现功能
•状态空间搜索:调试bug,尝试不同的解决方案
•决策树遍历:if-else,各种条件判断
•模块化分解:把复杂问题拆成小模块,逐个击破
这些不都是 通用的推理能力吗? 只不过,这些推理模式隐藏在代码的语法和细节之中,之前的AI模型很难直接学到
CodeI/O 的巧妙之处就在于,它把原始代码转化成了一种 “代码输入-输出预测” 的格式。 就像下面这样:
•输入:一段代码 (函数) + 测试用例的输入
•输出:这段代码在给定输入下的执行结果 (输出)
更绝的是,CodeI/O 还要求模型用 自然语言的 “思维链 (Chain-of-Thought, CoT)” 来预测这个输入和输出! 这就像让模型用人类的语言,一步步解释代码的推理过程
这样做有啥好处呢?
1.提取通用推理模式: 通过预测代码的输入输出,并用CoT解释,模型就能学到代码中蕴含的通用推理“原语”,比如逻辑流程、状态搜索等等,而且 摆脱了代码语法的束缚
2.数据丰富且可扩展: 代码资源遍地都是!CodeI/O 可以从各种代码库中大规模收集数据,而且很容易生成新的输入-输出对,训练数据管够!
3.保真且可验证: 代码是可以执行的!我们可以 验证模型的预测是否正确 ,甚至可以让模型进行多轮修正 (CodeI/O++),进一步提升推理能力
研究人员在14个不同的推理 benchmark上进行了测试,包括符号推理、科学推理、逻辑推理、数学推理、常识推理等等。 结果令人惊喜!
•效果全面提升: CodeI/O 在各种推理任务上都取得了一致的提升,不像其他方法可能只在特定任务上有效
•超越强大基线: 即使和一些现有的优秀数据集 (如OpenMathInstruct2, OpenCoder-SFT-Stage1, WebInstruct) 相比,CodeI/O 也更胜一筹
•模型能力更均衡: CodeI/O 不会像某些方法那样,只提升模型在少数任务上的表现,反而导致其他任务下降,而是全面均衡地提升模型的推理能力
CodeI/O 就像是给AI模型找到了一种新的“学习方法”:
•不刷题,改“读代码”: 从海量代码中学习通用的推理模式,而不是死记硬背题目的答案
•从“术”到“道”: 摆脱代码语法的束缚,学习更本质的推理“原语”
•数据自给自足: 代码数据取之不尽,用之不竭,训练数据不再是瓶颈
参考:
https://arxiv.org/pdf/2502.07316
⭐星标AI寒武纪,好内容不错过⭐
用你的赞和在看告诉我~
求赞
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.