CoD 替换 CoT：AI 成本由 27600 元暴降至 5500 元

Zoom Communications 的一组研究人员已开发出了一项突破性技术，有望大大降低 AI 系统处理复杂推理问题所需的成本和计算资源，从而彻底改变企业大规模部署 AI 的方式。

这种方法名为草稿链（CoD），它使大语言模型（LLM）能够用最少的单词来解决问题——在保持甚至提高准确性的同时，仅使用当前方法所需的 7.6% 的文本。

这一研究发现上周发表在研究论文库 arXiv 上的一篇论文中。

以 Zoom 的研究人员徐思磊（Silei Xu）为首的论文作者写道：“通过减少冗繁程度，并专注于关键见解，CoD 在准确性上比肩甚至超过思维链（CoT），同时只使用 7.6% 的 token，大大降低了处理各种推理任务的成本和延迟。”

草稿链（红色）的准确性比肩甚至超过思维链（黄色），同时在处理四项推理任务中使用的 token大大减少，这表明简洁的 AI 推理可以在不牺牲性能的情况下降低成本。

“少即是多”如何在不牺牲准确性的情况下改变 AI 推理 ？

CoD 从人类解决复杂问题的方式中获得灵感。

在解决数学问题或逻辑难题时，人们通常只以缩写的形式记下重要的信息，而不是清晰地表达每一个细节。

研究人员解释道：“在解决复杂的任务时——无论是数学问题、起草论文还是编写代码，我们通常只记下有助于我们推动任务解决的关键信息。通过模仿这种行为，LLM可以专注于逐渐得出解决方案，而无需冗繁推理带来的开销。”

该研究团队在众多基准测试中测试了其方法，包括算术推理（GSM8k）、常识推理（日期理解和运动理解）以及符号推理（抛硬币任务）。

在 Claude 3.5 Sonnet 处理运动相关问题的一个引人注目的例子中，CoD 方法将平均输出从 189.4 个 token 减少到了仅仅 14.3 个 token，足足减少了 92.4%，同时将准确率从 93.2% 提高到了 97.3%。

削减企业 AI 成本：精简机器推理的商业案例

AI 研究员 Ajith Vallath Prabhakar 在分析论文时写道：“对于一家每月处理 100 万个推理查询的企业来说，CoD 可以将成本从 3800 美元（2.8 万元人民币）（CoT）降低到 760 美元（5525 万元人民币），每月省下 3000 多美元（2.2 万元人民币）。”

这项研究正值当下企业部署 AI 的关键时刻。

随着企业越来越多地将复杂的 AI 系统集成到业务运营中，计算成本和响应时间已成为阻碍 AI 广泛采用的两大因素。

目前最先进的推理技术通过将复杂问题分解为逐步推理，极大地提高了 AI 解决复杂问题的能力，比如 2022 年亮相的 CoT 技术。但这类方法会生成冗繁的解释，因而消耗大量的计算资源，并增加响应延迟。

Prabhakar 写道：“CoT 提示的冗繁特性导致了大量的计算开销，增加了延迟，还增加了操作费用。”

无需再训练即可立即给业务带来影响

对于企业来说，CoD 尤其值得注意的地方在于实施起来简单。不像许多 AI 进展需要昂贵的模型再训练或改变架构，CoD 只需简单地修改提示就可以立即部署在现有模型中。

Prabhakar 解释道：“已经使用 CoT 的组织只需简单地修改提示， 就可改用 CoD。”

这项技术对于实时客户支持、移动 AI、教学工具和金融服务等对延迟敏感的应用领域尤其具有价值。在这些应用领域，哪怕小小的延迟都会严重影响用户体验。

然而业内专家表示，其带来的影响不仅限于节省成本。 通过使先进的 AI 推理更普及开来，CoD 可以使小组织和资源受限的环境更容易获得先进的 AI 功能。

随着 AI 系统不断发展，CoD 等技术突显了业界越来越强调效率和原始能力的事实。对于面对快速变化的 AI 领域的企业来说，这种优化可能与底层模型本身的改进一样重要。

Prabhakar 总结道：“随着 AI 模型不断发展，优化推理效率将与提高原始能力一样重要。”

研究代码和数据已在 GitHub 上公开（https://github.com/sileix/chain-of-draft），方便组织使用自己的 AI系统来实施和测试该方法。

参考资料：

https://venturebeat.com/ai/less-is-more-how-chain-of-draft-could-cut-ai-costs-by-90-while-improving-performance/

https://ajithp.com/2025/03/02/chain-of-draft-llm-prompting/#:~:text=For%20an%20enterprise%20processing%201,AI%20queries%20without%20excessive%20costs.

https://github.com/sileix/chain-of-draft