河北
南非威特沃特斯兰德大学的新研究，对理解人类语言发展以及大规模人工智能语言模型的行为，意义重大。
文化是关键，理解“迭代学习”也同样重要，该理论认为，语言（无论人类还是计算机）会随着世代更迭而演变，变得越来越结构化。
“我们打造了一个类似儿童大脑的计算机大脑，并将其与儿童大脑中的行为进行对比。然后，我们给它输入了与人类语言特性相似的数据，观察计算机大脑的每一代（版本）是如何学习的。”
“事实证明，计算机大脑发现数据中的结构，和儿童在学习中偏好某些语言特性的方式是一样的。这也表明，数据集（语言）在世代更迭中变得更结构化，因为这样学起来更容易，”主要作者德文·贾维斯博士说，他是计算机科学与应用数学学院（CSAM）的讲师，也是威特沃特斯兰德机器智能与神经发现（MIND）研究所的研究员。
他们的研究成果发表在《深度线性网络中迭代学习涌现的组合性与系统性》这篇论文里，论文登在《美国国家科学院院刊》上。
一切始于童年
贾维斯解释说，小孩在小时候学语言特别快，能力超强。他们是一层一层认识世界的：从基本概念开始，慢慢搞懂更复杂的东西。
“一开始，他们知道植物和动物不一样。接着，他们发现动物还分好多种。但有时候，他们对世界的理解还没到那个深度，”贾维斯说。
以企鹅为例。小孩知道鸟有翅膀，所以会飞。啊哈！但他们就纳闷了，企鹅怎么不会飞。这时候，他们想过头了，搞错了，但这反而帮他们学到新东西：企鹅不会飞，但它们会游泳，啊哈！慢慢地，他们对世界的理解就越来越清楚，越来越有条理。
“虽然这种知识的逐步积累有其益处，但这项研究关注的是对几代学习者的影响。孩子从父母那里学到一些语言，最终又会将其传给自己的孩子。由于语言的复杂性，这种传递过程难免会出现错误。”
“就像企鹅的例子一样，这些错误并非随意产生，而是知识过度归纳的结果。最终的结果是，语言中容易学习的部分被记住并重复使用，而结构较为松散的部分则被遗忘。本质上，个体擅长学习，但只有在交流的压力下，我们才能真正看到他们智慧的深度，”贾维斯解释道。
并非所有神经网络都一样
研究人员使用深度线性神经网络（模仿大脑处理信息的数学模型）来研究这一过程的神经基础。
他们发现，迭代学习只有在网络具有足够的深度、多层处理能力以及足够复杂的语言时才能有效运作。层数较少的浅层网络则无法捕捉到使语言易于学习的结构规律。
这表明，学习系统的架构——无论是生物的还是人工的——以及其环境的丰富性，对语言结构能否被有效吸收和传承，起着决定性作用。这一点在生成式AI模型的最新进展中也得到了印证，这些模型主要靠庞大的规模才展现出这些新能力。
贾维斯继续说道：“这项研究的各个部分，其实在各类文献里已经存在好一阵子了。深层线性网络早已是研究儿童发展的成熟模型，而迭代学习对语言学家来说也已众所周知多年。”
“但把这两种视角结合起来，似乎才真正点出了关键：语言之所以能变得容易学习，是因为儿童学习时有个很特别的特点：他们分阶段学，而且更喜欢重复用已知信息，而不是去学新东西。”
“而且，这个发现是在一个非常简单的技术版本上验证出来的，而这个技术正是现代AI工具火爆的基础，这本身就挺让人振奋的。也说明，多个领域交叉的地方，往往藏着认知科学的基本原理。”
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
