OpenAI放大招！

2024.09.13

本文字数：1660，阅读时长大约3分钟

导读：大模型有了思维链，学会了思考更久。

作者 |第一财经 郑栩彤

传言中有高级推理能力、此前被称为“草莓项目”的OpenAI新项目于北京时间9月13日凌晨推出了。

OpenAI在官网介绍，一个新的推理（reasoning）模型系列将开始提供，这个系列模型将用于解决困难问题，这些模型将在做出反应前花更多时间思考，可以通过复杂的过程进行推理，解决比以往更难的科学、编码和数据问题。OpenAI此次在ChatGPT和API接口渠道上先推出该系列的预览版本OpenAI o1-preview。

“对复杂的推理任务而言，这是一个重大进步，代表人工智能能力的一个崭新水平。因此我们将‘计数器’重置为1，新系列命名为OpenAI o1。”OpenAI表示。OpenAI CEO Sam Altman（萨姆·奥尔特曼）也在社交平台上表示，该新模型是一个新范式的开始，即AI能够进行通用复杂推理。

OpenAI o1包括三个型号，除o1-preview 之外还将有o1和o1-mini。其中o1-mini是一种更快、更便宜的推理模型且适用于需要推理但不需广泛世界知识的应用，o1-mini还比o1-preview便宜80%。

技术方面，OpenAI介绍，新系列模型经过训练，学会完善自身思维过程并尝试不同策略，能认识到自己的错误。新系列模型更新后的性能类似于博士生在物理、化学、生物学中完成具挑战性的基准任务。新系列模型还在数据和编码方面表现出色，在国际数学奥林匹克竞赛（IMO）的资格考试中得分83%，对比之下GPT-4o仅正确解决了13%的问题。新系列模型还在竞争性编程问题Codeforces比赛中排名前89%。

在技术研究相关文章中，OpenAI介绍，公司用大规模强化学习算法“教会”模型在数据高效训练时用思维链进行高效思考。随着强化学习增加和思考时间增加，o1的性能不断提高。类似于人类在回答困难问题之前思考很长时间，o1也尝试在解决问题时使用思维链，该模型通过强化学习学会磨练思维链并改进策略，学会在当前方法不起作用时尝试不同方法，这提高了模型推理能力。

“作为早期模型，它还难以使ChatGPT变得更加有用，例如通过浏览网页获取信息或上传文件和图像。对于很多常见案例，GPT-4o短期内能力还是更好。”OpenAI表示。不过该系列新模型增强的推理功能可能对解决科学、编码、数学和类似领域的复杂问题更有效，例如，医疗保健研究人员可用它来注释细胞测序数据，物理学家用它生成量子光学所需的复杂数学公式，开发人员可用它构建和执行多步骤工作流程。量子物理学者Mario Krenn就展示了GPT-4o不能回答但o1-preview正确完成计算的复杂量子物理问题。

OpenAI研究人员Noam Brown在社交平台上提到OpenAI o1系列的更多细节，他表示，o1系列经过强化学习训练，在通过自己的思维链做出反应前会思考，思考时间越长，推理任务表现越好。“这为大模型缩放（scaling）开辟了新维度，我们不再受预训练的瓶颈限制，现在也可以扩展推理计算了。” Noam Brown表示，但o1模型并不总是比GPT-4o好，有时人们不值得长时间等待o1响应，在个人写作和编辑文本时人们可能会偏好GPT-4o，在计算机编程、数据分析和数学计算领域则可能会偏好OpenAI o1。

Noam Brown透露，OpenAI o1在回答前会思考几秒，但OpenAI的目标是让未来的版本思考几个小时、几天甚至几周，虽然推理成本会更高，但人们有可能也会获得更多，例如在研发新抗癌药等方面，人工智能可以不仅仅是聊天机器人。

不过，不是所有用户都能立马用上新系列模型。据OpenAI介绍，ChatGPT Plus用户和Team用户最早可以在几个小时内体验到新模型。o1-preview限制为每周30条消息，o1-mini限制为每周50条消息。而从下周开始，ChatGPT的企业用户和教育（Edu）用户也可以访问这两种模型。该系列模型的API访问权限首先给Tier 5级用户。此外，OpenAI还计划将向所有ChatGPT免费用户提供o1-mini访问权限。后续，OpenAI还计划增加浏览、文件和图片上传等功能，且在OpenAI o1系列之外继续开发和发布GPT系列中的其他模型。

在安全方面，OpenAI则透露，新模型的思维链推理为确保对齐和安全提供了新的机会，隐藏的思维链为监控模型提供了独特的机会，使人能“读取模型思想”并理解其思维过程。此外，公司最近与美国和英国的人工智能安全研究所达成协议，开始将相关协议付诸实施，包括允许各机构尽早使用该模型的研究版本，这有助于建立一个在公开发布之前和之后对未来模型进行研究、评估和测试的流程。

微信编辑| 七三