OpenAI发布首款具有推理能力的模型o1，可“思考”后自我核实答案正确性

OpenAI旗下首款具有推理能力的AI大语言模型加速袭来。

两天前，尚有消息称代号为“草莓”的推理功能模型预计在两周内发布，9月12日周四，这款模型已经以“OpenAI o1”（英文字母O+阿拉伯数字1）的正式名称发布了。

不过，作为o1系列模型的首批版本，OpenAI仅推出了o1-preview预览版和o1-mini迷你版，而且是分阶段向付费用户、免费用户和开发者推出，且开发者的使用价格颇为昂贵。

据介绍，o1新模型通过背后崭新的训练方式，变得可以回答更复杂的编程、数学与科学难题，在给出答案前会先“思考”，而且速度比人类更快。更小、更便宜的迷你版聚焦在编程用例。

ChatGPT Plus和Team付费用户即刻起便能访问这两种模型，从用户界面AI模型选择器的下拉菜单中手动选择。ChatGPT Enterprise和Edu用户下周能使用这两种模式，未来某个未知时刻还将向所有免费用户提供o1-mini的访问权限。OpenAI希望以后能根据提示语自动选择正确的模型。

不过，开发人员访问o1非常昂贵，在API（应用程序编程接口）中，o1-preview每100万个输入token收费15美元，是GPT-4o成本的三倍，每100万个输出token收费60美元，是GPT-4o成本的四倍。100万个token即模型解析文字块的规模大小，相当于大约75万个单词。

OpenAI的研究负责人Jerry Tworek对媒体称，o1背后的训练方式与之前的模型有着根本不同。

首先，o1“使用了一种全新的优化算法和专门为其量身定制的新训练数据集进行训练”，这个数据集中包含“推理数据”和专门为其量身定制的科学文献。

其次，之前的GPT模型训练方法是模仿数据集的规律/范式（pattern），而o1采用“强化学习”的方式，通过奖励和惩罚来教导模型自行解决问题，再通过“思路链”（chain of thoughts）来处理用户查询的问题，给出思路链的总结摘要版，类似于人类一步步来处理问题的方式。

OpenAI认为，这种全新的训练方法会让o1模型更加准确，会减少瞎编回答的“幻觉”问题，但也无法完全杜绝出现“幻觉”。新模型与GPT-4o的主要区别在于能够更好地解决编程和数学等复杂问题，同时还能完善其推理过程、尝试不同策略，并识别和修正自身答案中的错误。

优势：对复杂的推理任务是重大进步，思考越久质量越高，安全性提升，展现思考步骤

在优势方面，OpenAI称o1模型对于复杂的推理任务来说是个重大进步，代表了人工智能能力的新水平，而且模型“思考”的时间越长，在推理任务上的表现就越好，因为o1可以花更多时间来考虑一个复杂问题的所有部分，从而有效地进行事实核查。

具体来说，o1模型的推理能力大幅提升，在物理、化学和生物等学科的Challenging基准测试中表现与博士生（即专家型人才）相当。而且其数学和编程能力爆表，在一项国际奥数竞赛（IMO）的资格考试中正确率高达83%，GPT-4o的正确率只有13%，在Codeforces在线编程竞赛中的成绩也高达89百分位，即前头只有11%的人类选手比o1模型出色。

同时，o1模型的安全性得以提升，比之前模型更能遵守安全准则，并且更能抵抗产生有害内容。在用户试图绕过安全规则的“越狱测试”中，在最严格的标准下GPT-4o在百分之中仅得22分，o1预览版的分数却高达84。公司称其“没有促进超过现有资源已经可能实现的评估风险。”

公司称，适用人群包括“正在解决科学、编程、数学和类似领域复杂问题的人士”，这些增强的推理能力可能特别有用。o1模型擅长准确生成和调试复杂代码，迷你版是款速度更快、比预览版便宜80%的推理模型，在编程方面尤其高效，适用于需要推理但不需要广泛世界知识的应用程序：

“例如，医疗研究人员可以使用o1来注释细胞测序数据，物理学家可以使用o1来生成量子光学所需的复杂数学公式，各领域的开发人员可以使用o1来构建和执行多步骤工作流程。”

测试过该模型的汤森路透副总裁Pablo Arredondo还发现，在分析法律摘要和解决LSAT（法学院入学考试）的逻辑题等方面，o1模型比OpenAI之前的模型更好：“我们发现它可以处理更实质性、更多方面的分析，我们的自动化测试还表明，它在处理一系列简单任务时都有所进步。”

此外，如果点击“展示思路链”便可发现，o1模型在“思考”时似乎格外“拟人化”，加入了“嗯……”、“我很好奇”、“我正在思考”、“好的，让我看看”等口语化的表达来推进思考步骤。

公司高管称，OpenAI 并不认为人工智能模型思维等同于人类思维，这种更具人性化的表达旨在展示模型如何花费了更多时间处理问题并全面、深入地解决问题。

但作为o1模型的最初始版本，今日发布的o1-预览版也有明显缺点。例如，只是一款“纯文字版”，暂时无法浏览网页信息以及上传文件和图片，也就是说不具备ChatGPT的许多使用功能，在许多常见用例中不如GPT-4o那么强大，而且还有用量限制，o1预览版每周上限为30条消息，迷你版每周上限为50条。

其他被提及的局限性包括：o1模型在很多领域的能力不如GPT-4o，在关于世界的事实知识方面表现不佳；有的用例下推理能力较慢，可能需要更长的时间来回答问题；目前o1只是一个纯文本模型，缺乏针对特定文档进行推理，或者从网络收集实时信息的能力。

此外，让AI模型玩井字棋（Tic-Tac-Toe）一直被认为是个业界难题，拥有推理能力的o1新模型也还是会在这个游戏中出错，即无法完全攻克技术难关。

OpenAI还在一篇技术论文中承认，其收到了一些“轶事反馈”，称o1预览版和迷你版比GPT-4o及其迷你版更容易产生“幻觉”，也就是AI仍在很自信地编造答案，而且o1很少会承认它不知道问题的答案。

知名科技媒体Techcrunch指出，OpenAI在o1模型相关的博文中点明，其决定不向用户展示这一新模型的原始“思维链”，而是选择在答案中给出思维链的总结摘要，目的是为了维持“竞争优势”，为了弥补可能的缺点，“我们努力教导模型在答案中重现思路链中的任何有用想法。”

OpenAI也承认在训练AI模型推理能力方面的竞争压力很大：

“OpenAI可能率先推出了o1。但假设竞争对手很快也会效仿并推出类似的模型，那么公司真正的考验将是让o1得到广泛应用。
OpenAI未来将不断推出o1模型的更新版本，目标是对推理时间长达数小时、数天甚至数周的o1模型进行实验，以进一步提高其推理能力。
除了模型更新之外，我们还希望给o1模型添加浏览网页、文件和图片上传等功能，让它对每个人都更有用。在o1系列之外，我们还计划继续开发和发布GPT系列中的模型。”

在o1正式发布前，曾有媒体称其最早可能在本周向有限数量的用户开放。而且OpenAI并不是唯一致力于开发具有推理能力AI模型的公司，Anthropic和谷歌也都宣称其先进的人工智能模型具有“推理”能力：

“o1模型的发布，正值OpenAI寻求（以1500亿美元的超高估值）筹集数十亿美元资金，并且在开发越来越复杂的人工智能系统方面遭遇更激烈的竞争之际。”