Sam Altman：巨型AI模型时代已结束， GPT-4是OpenAI最后成果

编辑宇婷

根据 外媒报道，OpenAI首席执行官萨姆·奥特曼(Sam Altman)上周发出了警告，催生ChatGPT的研究策略已经“过时”。目前还不清楚未来的进步将来自哪里。

这是什么意思呢？

Altman的表明，GPT-4可能是OpenAI让模型变得更大、提供更多数据的策略中出现的最后一个重大进展。他没有说未来将采用什么样的研究策略或技术来代替它。在描述GPT-4的论文中，OpenAI表示，它的估计表明模型大小的扩大会带来递减的回报。Altman表示，公司可以建造的数据中心数量以及它们可以建造的速度也有物理限制。

Sam Altman表示，进一步的进展不会来自于让模型变得更大。“我认为我们已经到了这个时代的尽头，它不会再是这样的巨大模型，”

他在上周晚些时候在麻省理工学院举行的一次活动上告诉观众。“我们将从其他方面使它们变得更好。”

上周晚些时候，OpenAI的CEO警告说，孕育出这个机器人的研究策略已经到了尽头。未来的进展尚不明确。

自从OpenAI在11月推出ChatGPT以来，微软已经使用了相关技术，为Bing搜索引擎添加了聊天机器人，而Google也推出了竞争对手Bard聊天机器人。许多人都急于尝试使用这种新型聊天机器人来帮助工作或个人任务。

包括Anthropic、AI21、Cohere和Character.AI在内的许多资金充裕的初创公司正在投入巨大的资源，努力追赶OpenAI的技术。ChatGPT的初始版本基于GPT-3的稍加升级版本，但现在用户也可以访问由更强大的GPT-4驱动的版本。

之前在谷歌从事AI工作的Cohere的联合创始人Nick Frosst表示，Altman的观点认为，无限制地增加模型大小不会一直奏效。他也认为Transformers 的进展，这种机器学习模型是GPT-4及其竞争对手的核心，超越了扩展。

“有许多方法可以使转换器变得更好、更有用，其中很多不涉及向模型添加参数，”他说。Frosst说，许多研究人员已经在探索新的AI模型设计或架构以及基于人类反馈的进一步调整的有前途的方向。

OpenAI的有影响力的语言算法家族的每个版本都包括一个人工神经网络，这是一种松散地受到神经元合作方式启发的软件，它被训练以预测应该跟随给定文本串的词语。

这些语言模型中的第一个GPT-2是在2019年宣布的。在最大的形式下，它有15亿个参数，这是调整其粗略人工神经元的连接数的数量度量。当时，由于OpenAI的研究人员发现扩大规模可以使模型更加连贯，这是相对于以前的系统非常大的。该公司推出的GPT-2的继任者GPT-3在2020年宣布，规模更大，有1750亿个参数。该系统广泛的生成诗歌、电子邮件和其他文本的能力，帮助说服了其他公司和研究机构将其自己的AI模型推向类似和更大的规模。

ChatGPT在11月首次亮相后，模因制造者和技术评论员猜测，当GPT-4推出时，它将是一个令人眼花缭乱的大小和复杂性的模型。然而，当OpenAI最终宣布这个新的人工智能模型时，公司并没有透露它有多大，也许是因为大小不再是唯一要紧的。

在麻省理工学院的活动上，Altman被问及训练GPT-4的成本是否为1亿美元；他回答说，“那还不止。”

尽管OpenAI正在保密GPT-4的大小和内部工作方式，但很可能它的一些智能已经超越了规模。其中一个可能是使用了强化学习和人类反馈的方法，这种方法被用来增强ChatGPT。它包括让人类评判模型的答案质量，以引导它提供更有可能被评为高质量的回答。

GPT-4的显著功能已经震惊了一些专家，并引发了有关AI改变经济的潜力以及传播错误信息和消灭就业机会的争论。一些AI专家、技术企业家（包括Elon Musk）和科学家最近写了一封公开信，呼吁对开发任何比GPT-4更强大的东西进行六个月的暂停。

在上周的麻省理工学院活动上，Altman确认他的公司目前没有开发GPT-5。“信的早期版本声称OpenAI正在训练GPT-5，”他说。“我们现在没有，也不会有。”

这到底是商业上对对手的迷障还是对技术的先知？OpenAI的CEO表示，巨型AI模型的时代已经结束。