“AI投资潮”应刹车？OpenAI联合创始人：规模化到头了，应回归研究！

来源：财联社

随着科技巨头不断投入巨资、扩大规模，有关人工智能（AI）泡沫的警告声愈发响亮。OpenAI联合创始人、前首席科学家伊尔亚·苏茨克维（Ilya Sutskever）作为ChatGPT的核心缔造者，现在却认为是时候按下“暂停键”了。

在周二最新播出的一档节目中，被视为现代AI先驱的苏茨克维挑战了传统观点，即规模化可能是AI进步的关键路线图。在他看来，人工智能行业的潮流将不得不回到研究阶段。

若要看采访的全部视频，可去以下网址观看（https://www.dwarkesh.com/p/ilya-sutskever-2）

近段时间以来，在科技巨头的带领下，对于AI行业的投入就像“魔怔”了一样：疯狂堆叠GPU、新建数据中心，试图通过扩大模型规模来触碰AGI（通用人工智能）的圣杯，并从根本上使他们的人工智能工具——无论是LLMs（大语言模型） 还是图像生成模型，变得更好。

人们似乎也普遍认为，你拥有的计算能力或训练数据越多，你的人工智能工具就会越聪明。但苏茨克维却在此时“泼下冷水”称，AI行业应告别简单的“规模化”堆积，重新回归到注重底层创新的“研究时代”。

去年5月，苏茨克维离开了OpenAI。次月，他与前苹果公司AI负责人丹尼尔·格罗斯（Daniel Gross）和OpenAI前研究员丹尼尔·列维（Daniel Levy）共同创立了SSI，旨在开发比人类更聪明但不危险的人工智能技术。由于三位创始人的“光环”，SSI自成立伊始即受到业内关注。

苏茨克维在上述采访中说，在过去的五年里，这个“配方”产生了有影响力的结果。对于公司来说，这种方法也很有效，因为它提供了一种简单且“非常低风险”的资源投资方式，而不是将资金投入到可能一无所获的研究中。

然而现在，苏茨克维认为，这种方法已经过时了。

他解释说，数据是有限的，而且各个组织已经拥有大量的计算资源。

他强调说，这条路正在变得拥挤且低效。“预训练数据的红利终将耗尽，数据是有限的。当你把规模扩大100倍后，单纯的量变可能不再带来质变。”

“所以，我们又回到了研究的时代，只是有了大型计算机。”他补充说。

不过，苏茨克维并没有否定对计算的需求，他指出计算对于研究仍然是必要的，而且在各大组织都采用相同范式的行业中，计算可以成为“重要的差异化因素”之一。

但他强调，研究对于找到有效或高效利用所有已获得的计算能力的方法至关重要。

根据苏茨克维的说法，需要更多研究的一个领域是让模型能够像人类一样进行泛化——本质上是利用少量信息或示例进行学习。

“我认为最根本的问题是，这些模型在某种程度上概括得比人差得多。这是非常明显的。这似乎是一个非常基本的东西。”他补充说。