清华大学唐杰教授：大模型的下一个浪潮

2023年9月5日，百度云智能大会上，清华大学唐杰教授做了一场题为《大模型的下一个浪潮》的演讲。

非常感谢大会的邀请，有机会到这里来跟大家分享我们在大模型时代对认知智能的一些思考。我们在清华成立了一个基础模型研究中心，我们在这里做了大量相关基础的一些研究。

在这里，我主要分享我们在这方面对认知智能到底是什么东西的大概思考。首先，人工智能经过了几个浪潮，大家都知道，早期的符号智能到感知智能，到最近2016年的时候，张院士正式提出人工智能已经开始了下一代认知智能。

到底什么是认知智能？我们开始反思。

因为认知智能很多人都会说比感知智能聪明一点点，里面可能有逻辑，可能有符号推理，但到底是什么？所以在2019年的时候，我们当时静下心来，大家做了论道，我们给他了一个定义，叫做用计算模型可描述的人类认知问题上，在不久的未来，计算机会达到，甚至会超过人类，到现在其实不到五年的时间，大家反过来看，我们在张院士，在郑院士的代理下，我们一步一个脚印，基本上做到大家看到的现在的情况。

在一些语言能力上，比如说我们说生成一些简单的语言，这个语言能力变成一个用计算模型可计算的，我们用原来的单词可以预测下一个单词是什么。我们如何预测序列足够长，那我们就可以生成第一个例子，生成一个长文档。如果我们把预测的文字改成一个逻辑，他就可以做一定的尝试推理。

大家可以看第二个例子，他可以做一定的符号推理。如果我们把这个符号推理再变得复杂一点，变成一个常识问题，问它到底是对还是错，就可以变成第三个例子，我们可以回答常识的逻辑推理。如果再长一点，就像刚才凯文凯利提到的，就变成一个可编程，我们实现递归，实现多循环，实现非常复杂的。

这些问题都是我们觉得在文字，在符号上，我们可以把它变成一个计算模型，可计算的问题。那么通过再复杂一点点。这个地方，左边是一个抽象+推理，大家看，我们给定一个输入，上面是一个非常简单的输入，我们把红色的块贴到蓝色的块，这个特别简单，我先从简单的编程，把它变成一个序列问题，变成可预测，可计算的问题。

那下面这个问题，我给你三个例子，让你预测第四个我们应该怎么做，这个时候大家看上去就稍微复杂一点了。

为什么？我们要把绿色的块通过一个序列的变换推到这个红色的块上，这既不是最短路径，它又需要一定的抽象，因为他要碰到墙，需要最短的距离去运动。这个时候，需要一定的推理能力，这时候能不能做？右边是一个更复杂的例子，这个时候大家知道西部世界，如果我们把所有的行为都由大模型来控制，变成大模型可以控制行为，让计算机每一个agent他能够在这个世界中互相交互，互相交流，甚至生存下来，甚至工作，这个时候我们能不能用大模型实现？我们在最近做了一个agent bench，是干吗的呢？我们在里边可以把所有的这种计算模型，比如说中间其实是一个视频，我们知道可以播放。

但是这个上面，他描述的是一个我们可以用大模型来控制，比如说计算机的命令行，游戏，还有数据库的操作，以及等等不同的任务，甚至是用一个自然语言，比如说我希望在网上购买一个商品，这个商品的价格不能超过30万。而且，我希望跟另外一个商品的价格进行比较，这个时候该怎么做。所以我们在这个里面对比了不同的大模型。

右边大家可以看到，这个大模型对比的结果，我姑且不说这个大模型是不是能把这个问题转换成一个计算问题，因为我刚刚提到，认知智能是把所有的问题变成一个计算模型，如果是一个可计算的模型的话，我们可以用大模型。但是如果不是一个可计算的模型该怎么办？现在，OpenAI，ChatGPT4可以在这上面取得不错的效果。但是不错的效果是什么呢？距离人还是有差距。所以这时候给我们一个反思，到底这个问题，像agent这样，尤其是多agent这种问题，这种认知智能是不是可以计算的，是不是可以用大模型来实现的？我们也不知道，我先做，这是一个反复问题，问题是我们在这里面，我们就在反思人是怎么做的？

人其实有双系统，大家知道，系统1是一个快系统，我们可以问一下很简单的问题，我们问百度牛不牛？大家说牛。这个不需要推理。

但是我们问一些更复杂的问题，我们说百度的云和谷歌的云在数据存储上谁的容量更大？大家就不会迅速回答，大家可能会说我得上网查一下数据的存储空间有多大，谷歌的存储空间有多大，对比完了再回答。所以我们当时在用右边这个做一个例子，在2019年的时候，一个非常复杂的推理问题上，我们让我们的计算模型来回答。

大家看，我们当时用双系统来回答，系统1做匹配，你给一个关键词，他就给你匹配文档。系统2做逻辑推理，做决策。当你在基于大模型的系统1和基于逻辑推理的系统2这个效果大大的提升。提升得不错。这个时候我们当时就觉得，也许解决大模型时代的智能问题，应该用双系统。也就是我们这里看到的。左边我们说系统1有一个基础的超大模型预训练模型。系统2我们加一个推理，加上记忆机理，加上认知机理。这时候来实现双系统的推理。同时刚才我们还规划了一个认知推理的逻辑。

这就有点类似于咱们晚上睡觉的时候，大脑在无意识的学习，他使得我们变得越来越聪明。但是这个时候，我们又看了一下。我们发现人类的进化，人类整个大脑进化，它其实是在不断的双循环的进化。原来我们早期的时候，我们人的大脑的脑容量在增加的时候，我们还加了很多工具，我们还做了很多推理，我们才做进化。但是有了工具以后，也就是甚至你想想我们有了工具以后，我们的进化速度还不够，这时候我们的整个通用程度还不够，我们直到后来把整个语言掌握了，我们脑容量到了足够大的时候，我们真正的才变成现在的智人。而大模型也一样。

这里光是用双系统来推，系统1的边界也不知道，可能这个认知智能也没有实现。于是我们现在就采用双向的学习。系统一，我们逐渐的让它的脑容量越来越大，从原来的百亿，千亿，甚至到万亿。然后系统二，我们也在反思，怎么把系统一的成果和系统二对接起来，大家可能现在看到有一些成果，比如说像斯坦福他们曾经提出了（COP，COH）等等。

还有在谷歌大量地做了相关的一些推理和研究。我们今天也邀请了很多谷歌的朋友来专门介绍推理方面的进展。

所以这方面两个是结合的一个形式。那具体有一些什么样的效果呢？这是一个例子，我们原来在2021年的时候，实现了一个百亿模型，大家看第一个例子，这是百亿模型上实现的一个结果，但是百亿模型上实现的很多结果，他数学能力不行。也就是说虽然是可计算，他能力还不大行，但是你说这个时候我们就要用双系统来求解他们，我原来是怎么做的，但我们后来发现了，因为我把他推广到这个千亿模型以后，这里好多数据问题他就求解了，他自然就把这个求解了，他可以自动的实现数学问题的迁移，那你说这个时候系统二就不需要了吗？可能也不是。

你看，随着GPT4出来，GPT4大家都觉得是个万能模型，GPT4里面还加了多模态。他可以不仅实现多模态的学习，像这个例子，他可以把这个图片识别出来，识别出来还可以做回答。更聪明的是，右边他加上在不同学科上都可以求解非常复杂的问题。我们就开始反思，未来我们应该怎么做？刚才其实抖总已经看到一个，说我们可以跟数字人做主持交互，我们也在今年的清华的国际青年对话中也做了这么一个数字人，它里面就加了相关的东西。

但是未来，我们觉得整个大模型的发展，除了中间的模型，下面算力都很重要，包括上面的应用。当然，我们逐渐在发展过程中一些应用。但是，对未来，我们给了一个新的词，叫超级认知智能。

什么叫超级认知智能？其实最近OpenAI也发布了这个计划，叫Superalignment，里面的核心就是实现super (intelligence)，在通用领域上，在未来若干年，计算机很快会全面的超越人类，并且探究科学的规律，以及世界起源等终极问题。这些都是我们未来的一些思考。感谢大家。