网易首页 > 网易号 > 正文 申请入驻

华人团队提出「CoD」草稿链,减少 80% Token,AI 省钱第一名!

0
分享至

降低 AI 成本,依然是目前的一大难题。

作者|芯芯
编辑|靖宇

两个月前 DeepSeek R1 横空出世,震惊所有人。除了成本巨低,大模型在回答问题时候显示的思维链 CoT 也功不可没。

在 AI 领域,大规模语言模型(LLMs)已经展示了强大的推理能力。这些模型通常生成长长的「思维链(Chain-of-Thought, CoT)」来逐步推导答案,好处显而易见,问题是计算成本和延迟高。

最近,Zoom 的研究团队提出了一种全新的推理范式——「草稿链(Chain-of-Draft, CoD)」,试图通过模仿人类的简洁思维过程,来提升 AI 的推理效率,从而节省成本。

数据显示,相同的任务,使用 CoD 能将 Token 使用减少 80%,大幅度降低成本。

成本更低,准确率却不低的 CoD,会成为大模型的下一个趋势吗?

01

如何让 AI「少写点」?

无论是 OpenAI 的 o1,还是 DeepSeek 的 R1,在使用「思维链」处理任务时都有出色表现,这个范式鼓励模型将问题分解成一步步的推导,类似于人类在纸上写下完整的解题过程。

「尽管这一方法有效,但它在推理时需要大量的计算资源,导致输出冗长且延迟较高。」Zoom 研究人员指出,LLM 通常会在得出最终答案之前消耗大量 Token。

在他们看来,人类通常解决问题的方式根本没有这么冗长,「我们依赖简洁的草稿或速记来捕捉必要的见解,而不做不必要的详细阐述。」

受此启发,他们提出「草稿链」这一新范式,鼓励模型生成极简的中间推理步骤,只要捕捉解决问题的关键信息。

这一灵感来自人类的认知过程。因为在解决复杂任务时——无论是解决数学问题、撰写论文还是编程——人类通常只记录下有助于推进的关键信息。通过模仿这一行为,LLMs 可以专注于推进解决方案,而不受冗长推理的影响。

其研究论文称,这一方法不仅减少了冗余,还显著降低了计算成本和延迟,同时保持了与「思维链」相当的准确性。

用一个简单的算术题例子感受直接回答(标准)、「思维链」与「草稿链」的区别:

标准:

问:杰森有 20 个棒棒糖。他给了丹尼一些棒棒糖。现在杰森有 12 个棒棒糖。杰森给了丹尼多少个棒棒糖?

答:8

思维链:

问:杰森有 20 个棒棒糖。他给了丹尼一些棒棒糖。现在杰森有 12 个棒棒糖。杰森给了丹尼多少个棒棒糖?

答:让我们一步步来思考:


  1. 最初,杰森有 20 个棒棒糖。

2. 在给丹尼一些棒棒糖后,杰森现在有 12 个棒棒糖。

3. 为了找出杰森给了丹尼多少个棒棒糖,我们需要计算最初的数量和剩余数量之间的差异。

4. 我们可以设置一个简单的减法问题:最初的棒棒糖数 - 剩余的棒棒糖数 = 给丹尼的棒棒糖数

5. 把数字带入:20 - 12 = 给丹尼的棒棒糖数

6. 解决减法:20 - 12 = 8

因此,杰森给了丹尼 8 个棒棒糖。

草稿链:

问:杰森有 20 个棒棒糖。他给了丹尼一些棒棒糖。现在杰森有 12 个棒棒糖。杰森给了丹尼多少个棒棒糖?

答:20 - x = 12;x = 20 - 12 = 8。#### 8

在标准的直接回答中,模型直接输出答案「8」,没有任何推理过程。虽然答案正确,但缺乏透明性,可解释性不强,且在多步推理任务中容易出错。

「思维链」则生成了冗长的推理。相比之下,「草稿链」的推理被简化为一个简洁的方程,答案应放在响应的结尾,并使用分隔符「####」,减少了 Token 数,同时保持透明性和正确性。

为了评估「草稿链」的有效性,Zoom 的研究团队进行了多种基准测试,包括算术推理、常识推理和符号推理任务。其实验结果称,草稿链在「准确性」上与思维链相当,甚至在某些任务中表现更好,同时显著减少了 Token 使用和延迟。

以算术推理任务为例,使用草稿链的 GPT-4o 和 Claude 3.5 Sonnet 模型在 GSM8k 数据集上的准确率分别为 91.1% 和 91.4%,而思维链的准确率分别为 95.4% 和 95.8%。

尽管草稿链的准确率略低,但它将 Token 使用减少了 80%,并将延迟降低了 76.2% 和 48.4%。

在常识推理和符号推理任务中,他们称草稿链同样表现出色。例如,在掷硬币任务中,草稿链将 GPT-4o 的 Token 使用减少了 68%,而 Claude 3.5 Sonnet 的 Token 使用减少了 86%,同时保持了 100% 的准确率。

02

部署 AI,更省钱了?

Zoom 的研究人员还提到,与「草稿链」类似,去年圈内已有研究提出「简洁思维(Concise Thoughts,CCoT)和 Token 预算感知 LLM 推理,建议对推理步骤使用固定的全局 Token 预算。

然而,不同的任务可能需要不同的预算,以实现性能和成本之间的最佳平衡。此外,LLM 可能无法遵守不切实际的预算,通常生成的 Token 数量远超预期。即使是动态估算,也要额外的 LLM 调用,这增加了延迟。

「相比之下,我们的方法采用每步预算,允许无限的推理步骤,使其更适应各种结构化推理技术。」研究团队称。

但「草稿链」也有其局限性,对于需要大量反思、自我纠正或外部知识检索的任务,它可能效果较差。

这项研究目前被讨论较多的用处在于,它可能改变企业部署 AI 的成本,让 AI 模型以更少的资源更便宜地思考,对成本敏感的场景尤其适用。

例如,AI 研究人员 Ajith Prabhakar 分析认为,对于每月处理 100 万条推理查询的企业,「草稿链」可以将成本从 3800 美元(CoT)降至 760 美元,每月节省超过 3000 美元——在大规模应用时,节省更多。

除了成本,「草稿链」可能使 AI 驱动的应用程序更加响应迅速,特别是在实时支持、教育和对话式 AI 等领域尤其有价值,因为即使是短暂的延迟也会严重影响用户体验。

不过,值得注意的是,OpenAI 在 3 月 10 日发文称,他们相信「思维链(CoT)监控」可能是未来监督超人类模型的少数工具之一,「建议不要对前沿推理模型的 CoT 施加强烈的优化压力,保持 CoT 不受限制,以便进行监控。」

因为模型通常会在「思维链」中非常清楚地陈述其意图,让人类可以看到模型的思维,从而检测模型一些不当行为,比如在编程任务中绕过测试、欺骗用户,或者在问题过于困难时放弃。

无论如何,从「思维链」到「草稿链」,AI 推理范式还在不断进化。

目前看来,随着应用场景扩展,在不谈 AI 安全时,成本与速度越来越成为绕不过的关键指标。而 CoD 的出现,证明了人们依然在探索如何在保持大模型进步的前提下,进一步降低成本,加速 AI 的普及。

*头图来源:Quanta Magzine

本文为极客公园原创文章,转载请联系极客君微信 geekparkGO

极客一问

你觉得大模型成本降低,是目前行业的首要挑战吗?

机器人也能当摇子?众擎机器人再上新!大跳斧头帮舞蹈致敬星爷。

点赞关注极客公园视频号,

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
某市政府办公室干部为领导起草发言材料时,引用涉密文件,认为“引用一两句话不至于涉密”,将材料发至微信群征求意见,被政务警告处分

某市政府办公室干部为领导起草发言材料时,引用涉密文件,认为“引用一两句话不至于涉密”,将材料发至微信群征求意见,被政务警告处分

政知新媒体
2026-11-17 07:39:52
杨瀚森正负值+11!开拓者98-106森林狼,谁是输球罪魁?数据不说谎

杨瀚森正负值+11!开拓者98-106森林狼,谁是输球罪魁?数据不说谎

球场没跑道
2026-11-17 11:41:48
英伟达董事会:不考虑让黄仁勋复任 CEO

英伟达董事会:不考虑让黄仁勋复任 CEO

云头条
2026-11-17 05:07:33
张升民人民日报撰文:保持惩治腐败高压态势

张升民人民日报撰文:保持惩治腐败高压态势

澎湃新闻
2026-11-17 07:09:02
创137年纪录!荷兰遭队史最惨1败:3天内从7-0到0-5,46岁哈维懵了

创137年纪录!荷兰遭队史最惨1败:3天内从7-0到0-5,46岁哈维懵了

我爱英超
2026-11-17 06:12:26
黄仁勋辞任前 8 个月,已转移超 105 亿美元英伟达股票

黄仁勋辞任前 8 个月,已转移超 105 亿美元英伟达股票

云头条
2026-11-17 05:07:23
这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

财经要参
2026-11-15 12:00:05
罗纳尔迪尼奥复出踢意丙!8000万欧身价改写联赛历史

罗纳尔迪尼奥复出踢意丙!8000万欧身价改写联赛历史

足球推文C
2026-11-16 18:41:41
布泽尔29+7+7力压状元郎,浓眉哥空砍23分,灰熊逆转送奇才8连败

布泽尔29+7+7力压状元郎,浓眉哥空砍23分,灰熊逆转送奇才8连败

钉钉陌上花开
2026-11-17 10:29:23
杨瀚森1板3助1断执行特别战术,开拓者不敌森林狼利拉德15投2中

杨瀚森1板3助1断执行特别战术,开拓者不敌森林狼利拉德15投2中

湖人崛起
2026-11-17 11:29:24
黄仁勋女儿怒斥高管,父亲辞职后她仍留英伟达

黄仁勋女儿怒斥高管,父亲辞职后她仍留英伟达

野生运营
2026-11-17 07:44:55
中央5台乒乓球直播时间表出炉:11月17日CCTV5节目表CCTV5+节目单

中央5台乒乓球直播时间表出炉:11月17日CCTV5节目表CCTV5+节目单

曹说体育
2026-11-17 11:37:11
特朗普:我认为黄仁勋案没有涉及“间谍”

特朗普:我认为黄仁勋案没有涉及“间谍”

看看新闻Knews
2026-11-17 09:34:14
女子长相漂亮,还能赊账被杀,2011年排查几百个嫖客,凶手让人意外

女子长相漂亮,还能赊账被杀,2011年排查几百个嫖客,凶手让人意外

汉史趣闻
2026-11-17 09:30:11
4岁藏族小女孩牵着高反女游客找氧气:“别哭了,哭的话会越来越缺氧”

4岁藏族小女孩牵着高反女游客找氧气:“别哭了,哭的话会越来越缺氧”

一丝不苟的法律人
2026-11-15 17:01:02
掘金大爆冷!约基奇28+15穆雷爆发太晚,布克20+8,火箭弃将15+4全队第一

掘金大爆冷!约基奇28+15穆雷爆发太晚,布克20+8,火箭弃将15+4全队第一

鱼崖大话篮球
2026-11-17 12:39:27
全力詹要回来了?美记:詹姆斯已告知76人教练组,他会在12月份提升自己的比赛状态

全力詹要回来了?美记:詹姆斯已告知76人教练组,他会在12月份提升自己的比赛状态

移动挡拆
2026-11-17 10:44:16
当下 “发不出工资” 的 4 个行业!比想象中还严重!

当下 “发不出工资” 的 4 个行业!比想象中还严重!

职场资深秘书
2026-11-16 15:09:51
缺德到这种程度,已经不是讽刺的问题了!

缺德到这种程度,已经不是讽刺的问题了!

胖胖说他不胖
2026-11-17 09:00:28
詹姆斯轮休!76人拒篮网24分逆转 恩比德37分布朗31+13

詹姆斯轮休!76人拒篮网24分逆转 恩比德37分布朗31+13

醉卧浮生
2026-11-17 11:13:22
2026-11-17 14:15:00
极客公园
极客公园
让最棒的创新成为头条
13039文章数 78968关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

数码
时尚
教育
艺术
健康

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

自骂“烂人”的黄仁勋,冤不冤?

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

情绪真能让健康人"伤心至死"?

无障碍浏览 进入关怀版