ISC.AI 2024|中国科学院院士张钹：厘清大模型四大发展方向

8月1日，中国科学院院士、清华大学人工智能研究院名誉院长张钹在ISC.AI 2024第十二届互联网安全大会表示：

目前大模型的4个发展方向，这4个发展方向对今后如何改进大模型非常重要。

一是与人类对齐。刚才我们说大模型判断对错能力比较差，现在人类要帮助它，人类帮助它进行改进，这就是与人类对齐的。最主要通过人类在闭环里，它执行以后，如果有错误，我们告诉它有错误，就是在人类的驱动下改正它的错误。因为它错误需要人类提示的，刚才说过，它判断对错的能力比较差，需要外部的提示。所以，这点是我们做的第一件工作。

二是多模态生成。多模态生成将来对产业的发展非常重要，因为大家看到大模型主要是生成文本，ChatGPT生成文本。但是我们用同样的办法生成图像、声音、视频、代码之后，而且生成的水平是跟人类的水平接近的。比如说生成代码，不止生成代码，而且相当于编程人员的水平。为什么会看到这样？大模型有个重要的突破就是对“文本的处理”，原来只是对文本形式的处理，现在变成文本内容的处理。所以，我们现在做的为什么图像能生成的那么好，主要是把图像跟文本挂起钩。因为文本计算机能处理内容，只要把图像跟文本挂钩，计算机也能处理图像的内容，图像的语义。所以，所有的图象处理也会起到质的变化，大家看到我们把图像也好、声音也好、视频也好，都是跟文本挂钩的，这才能实现它们的突破。代码本身就是个形式语言，比自然语言还容易，自然语言都能处理了，形式语言更好理解。所以，最本质的是文本处理的突破。

三是AI Agent（智能体）的概念，先把大模型与周围的虚拟环境结合起来，结合起来重要的作用是什么？就是让环境提示它的错误，因为一件事做了以后才能知道对和错。而且模拟环境对我们来讲是非常重要的，可以任意的生成，然后智能体自动生成。比如自动驾驶，美国人生成了大量的数字环境，先让自动驾驶在数字环境里进行驾驶，最后才到实际环境中。这跟智能体的概念是非常重要的，就是要跟环境结合起来，让环境提示智能体，让它有反思的机会，去改正错误。

四是具身智能。就是把机器人加上去，使得它在物理世界里还能工作。这里我的观点将来如何发展通用的机器人？我认为是软件通用，硬件多样化。现在马斯克宣传人形机器人，人形机器人是很重要的方面，但是我认为间来不止限于人形机器人，不仅需要这个，将来还有很多硬件，所以硬件应该多样化。