深度｜OpenAI o1 的思维链与周鸿祎的慢思考

OpenAI 在 9 月 13 日发布的 o1-preview 模型后，o1 系列凭借其强大推理能力和解决问题能力得到大家广泛关注。

有业内人士表示，o1 开创了“强化学习的 Scaling Laws”，即“Inference Law”，算力收益要比训练获得的大得多。

对 Inference 系统 1（快思考）和系统 2（慢思想）的讨论一时间成为业内探讨的热点，而该理论正是出自诺贝尔经济学奖得主 Daniel Kahneman 的著作《思考，快与慢》。

英伟达高级科学家 Jim Fan 在 o1 发布后第一时间表示，大量计算将被转移到服务推理而不是训练前/后，o1 将成为数据飞轮，反过来将进一步优化 GPT 未来版本的推理核心。

周鸿祎对 OpenAI 的前瞻性解读

OpenAI o1-preview 在产品中应用 Inference 的背后，正是通过“思维链（CoT）”实现的。基于强化学习，o1 将棘手的问题分解为更简单的步骤，再交给多个子模型来解决，从而提高模型的推理能力。

o1 的思维链模式与 360 的“慢思考”不谋而合。周鸿祎早在 7 月底 ISC.AI 2024 大会上就提出了用基于智能体的框架打造慢思考系统，从而增强大模型的慢思考能力。

周鸿祎认为，OpenAI 遵循的正是《思考，快与慢》中的双系统理论（Dual Process Theory） —— GPT 和 o 系列分别对应系统 1 和 2。

结合双系统理论，以及 GPT 和 o 系列各自特点，我们能发现：

• GPT 系列对应系统 1：负责快速、直觉决策，依赖于经验和情感，多模态，快速语言响应；

• o1 系列对应系统 2：负责较慢、仔细的思考和推理，依赖逻辑和理性分析，多模态，思维链慢速复杂推理；

周鸿祎还表示，双系统理论的重点/核心在于两种系统并非独立而是协同运作，而 OpenAI 内部构建的更加智能的模型或许是 GPT 和 o 系列的融合/系统。

OpenAI 此前在文章中提到，o1 在对推理要求高的领域受欢迎程度远超 GPT4-o，但是语言为中心的领域却相反，表明两者能力所及互补而非冲突。

OpenAI 除了不断改进 o1 新系列外，还会不断改进 GPT 系列，由此也可知，o1 并不是GPT 的继任者，即两者并非冲突关系，相反大概率是互补关系。

根据周鸿祎的推测，OpenAI 内部可能正在构建双系统的大模型 —— GPT 以及 o1 两个系统将协同运作，当 GPT 的快速反应不足以应对复杂情况时，o1 会介入进行更深入的分析。

CoE 架构与 OpenAI 思维链不谋而合

OpenAI 在“双系统”与思维链的实践，与周鸿祎此前在 7 月底 ISC.AI 2024 大会上宣布的“基于智能体框架打造慢思考系统，从而增强大模型慢思考能力”观点不谋而合。

周鸿祎也在近期多次强调，通过智能体框架，让大模型从快思考切换成慢思考，用多个大模型组合协作来解决业务问题。或许这就是通往 AGI 路上，海内外头部 AI 玩家所给出的答案。

7 月底，360 在正式发布的 CoE（Collaboration-of-Experts，专家协同）架构中强化了推理的使用。

不同于 MoE（Mixture-of-Experts）架构的稀疏混合专家模型，一次只能调用其中的一个专家模型回答，CoE 架构则能让多个模型分工协作、并行工作，执行多步推理。

CoE 模型拥有更精细的分工、更好的鲁棒性、更高的效率和可解释性和更强的泛化能力，可以在加快推理速度的同时， 降低 API 和 Token 的使用成本。

CoE 的实际应用，效果超 GPT-4o

目前，CoE 架构在 360 牵头下，已经接入了国内 16 家国内主流大模型厂商的 54 款大模型产品。

产品方面，360 已经有多款基于 CoE 架构的产品上线，360 AI 搜索和 360 AI 浏览器就是基于 CoE 架构的典型应用，涉及多次大模型调用来回复用户意图。

1）CoE 架构实际体验

对于实际体验，用户可以访问 https://www.sou.com/ 打开 360 AI 搜索，在「深入回答」模式中输入“为什么中秋节要吃月饼”，360 AI 搜索便会启动 AI 多任务智能体（Agent）来进行用户搜索意图识别：

值得一提的是， 360 AI 搜索会通过默认的 AI 模型来搜集和总结资料，当然用户也可以在「标准回答」模式中选择任意第三方 AI 模型进行资料的搜集与梳理：

在使用中，360 AI 搜索首先会通过意图分类模型对“为什么中秋节要吃月饼”进行 1 次意图识别。

接下来，360 AI 搜索将调用 1 次搜索改写模型，将用户意图改写成“中秋节吃月饼的起源”、“中秋节吃月饼的文化内涵”以及“不同地区中秋节吃月饼的习俗差异”等 5 个子意图。

随后，360 AI 搜索会通过选择的 AI 大模型对改写的 5 个子意图分别进行搜索，并按一定顺序罗列出来：

最终，通过 AI 大模型从精选的 29 篇参考资料对分类后的 5 个子意图进行总结回复：

360 AI 搜索也支持通过脑图的形式来帮助用户快速找到感兴趣的内容：

此外，360 AI 搜索也支持构建 AI 工作流，使得多个大模型协同运作。比如，面对一道古诗词中译英题目，路由模块就会调用起翻译、反思等多个模型，让这些模型分工配合、共同完成任务：

CoE 架构除了在 360 AI 搜索的应用，还有 360 AI 浏览器中的 AI 助手。用户可以访问 https://bot.360.com/ 来体验其最新的多模态协作功能。

点击左边栏「多模型协作」，用户可以从 16 家国内主流大模型厂商的 54 款大模型中任意选择 3 款大模型进行多模型协作。

在设计思路上，AI 助手设置了“专家”、“反思者”以及“总结者”三个选项，用户需要在每个选项中确定一个模型：

这样即使在第一个专家模型在测试中给出了错误回答，反思模型与总结模型也能通过协作修正结果。

还是以“为什么中秋节要吃月饼”为例，分别选择豆包、文心一言以及智谱清言作为测试模型，首先是豆包作为“专家”给出了初步回答：

接下来，文心一言作为“反思者”对豆包回答的内容进行建议与优化：

最后，由智谱清言作为“总结者”对前两个模型回答进行总结：

目前，AI 助手上线的是三模型协作版本，360 产品团队还计划在 9 月底推出五模型或更多模型协作的版本。

2）CoE 架构的开创性

基于 CoE 架构的方案与 OpenAI o1 通过多个子模型实现“慢思考”的理念类似，而主要差异点在于 CoE 架构集合了国内各家大模型能力，OpenAI 则是基于自研的模型。

360 CoE 架构比 OpenAI 更具开创性的点在于 —— CoE 技术架构不仅为 360 AI 搜索以及 360 AI 浏览器提供了底层技术，同时与国内多家主流大模型厂商通力协作，为国内大模型创造了更开放和多元的环境，而非像 OpenAI 在美国那样。

根据行业专家张俊林的观点，o1-preview 之所以能够更强，其方法本质上是思维链的自动化。

而对于同样应用思维链，且在 7 月底就已推出 CoE 技术架构来讲，则是通过“多系统协同”的方式实现“慢思考”和思维链自动化的。

并且，就在 o1-preview 上线的同时，360 还推出了基于 CoE 架构AI助手-多模型协作（bot.360.com）。用户可以在已经接入 CoE 的大模型中，任意调用三个模型协同工作，实际体验多模型协作中 1+1+1>3 的反思决策效果。

经过 21道复杂逻辑推理题测试结果显示，其效果在多个维度都超越了 GPT-4o，有时还能超越 o1-preview。