网易首页 > 网易号 > 正文 申请入驻

北京大学重磅研究:AI学会新知识后为什么总是不会用?

0
分享至


当我们教会AI新知识后,却发现它们"学而不用",就像背会了菜谱却做不出菜一样。这个困扰AI界已久的问题,最近被北京大学人工智能研究院和北大元培学院的研究团队破解了。这项发表于2026年1月的研究(论文编号arXiv:2601.11258v1),首次发现了AI大脑中"知识存储"和"技能运用"竟然存储在完全不同的神经区域,就像我们人脑中的记忆库和操作中心分工明确一样。

要理解这个发现的重要性,不妨回到日常生活中的例子。当你学会了新的烹饪知识,比如知道了某道菜的食材和制作步骤,但这并不意味着你就能立刻烹制出美味佳肴。知识的记忆和实际的操作技能是两回事。AI系统也面临着同样的问题:它们能很好地记住新信息,但在需要运用这些信息解决问题时,往往表现得笨手笨脚。

研究团队通过深入的神经科学分析,发现了这背后的根本原因。在AI的"大脑"中,通过监督学习获得的知识更新和通过强化学习获得的技能提升,竟然发生在几乎完全垂直的神经网络空间中。简单来说,就像我们大脑中负责记忆的海马体和负责运动控制的小脑各司其职一样,AI的"记忆区"和"操作区"也是相互独立的。

这个发现催生了一项革命性的技术——参数化技能转移框架(PaST)。这项技术的核心思想是,既然知识和技能分别存储在不同区域,那我们就可以像搬积木一样,把一个AI身上学会的技能"搬运"到另一个掌握新知识的AI身上。就好比你可以把一位经验丰富厨师的烹饪技巧"复制"给一位刚学会新食谱的新手,让新手立刻具备高超的烹饪技能。

**一、AI学习的双重困境:为什么机器人学会了却不会用**

现代AI系统面临着一个令人困惑的现象,就像一位博览群书的学者,虽然脑袋里装满了知识,但在实际解决问题时却束手无策。这种现象在AI界被称为"知识截止"问题,指的是AI系统无法有效利用新学到的信息。

当前主流的解决方案通常采用监督微调的方法,这就好比给学生一本新教科书,让他们反复背诵内容。这种方法确实能让AI记住新知识,降低对新信息的困惑度,但却无法让AI学会如何灵活运用这些知识。就像一个学生能够完美背诵物理公式,但在遇到实际物理问题时,却不知道该用哪个公式,也不知道如何将公式应用到具体情境中。

相比之下,强化学习更像是让AI在实践中摸索,通过不断试错来掌握解决问题的技巧。这种方法虽然能培养出很强的操作能力,但成本极其高昂,就像让每个厨师都要从零开始摸索每道菜的制作方法,而不能借鉴其他厨师的经验。每当AI遇到新的应用场景时,都需要重新进行大量的试错训练,这在实际应用中既不现实也不经济。

研究团队通过细致的实验观察发现,这种困境的根源在于知识获取和技能掌握在AI系统中是两个相互独立的过程。当AI通过监督学习掌握新知识时,这些信息主要存储在特定的神经网络区域,而解决问题所需的操作技能则需要通过强化学习在完全不同的网络区域中培养。这就好比我们把食谱背得滚瓜烂熟,但掌握烹饪技巧却需要在厨房里反复练习一样。

更有趣的是,研究团队发现这两种不同类型的学习过程在数学层面上几乎是正交的,也就是说它们在神经网络的参数空间中沿着完全不同的方向进行更新。这个发现为解决AI的学用分离问题提供了全新的思路。

**二、神经网络中的"左右脑分工":知识与技能的神奇分离**

深入探索AI大脑的内部机制时,研究团队有了一个令人震惊的发现。他们通过精密的数学分析发现,AI在学习新知识和掌握新技能时,其神经网络参数的变化方向几乎完全垂直,就像在三维空间中的X轴和Y轴一样互不干扰。

为了验证这个假设,研究人员设计了一个精巧的实验。他们使用长文档理解数据集,让AI系统先通过监督学习掌握新的文档内容,然后通过强化学习提升其问答技能。接着,他们计算了这两个学习阶段中神经网络权重变化的相似度。结果显示,这种相似度接近于零,证实了知识学习和技能培养确实发生在完全不同的参数空间中。

这种现象在深度学习理论中被称为参数正交性。简单来说,就像我们可以同时向东走和向上爬,这两个动作不会互相影响一样,AI在学习知识和掌握技能时也是在神经网络的不同维度上进行更新。这个发现具有重要的理论意义,因为它表明知识和技能在AI系统中具有天然的模块化特性。

为了进一步验证这个发现的普遍性,研究团队还进行了对照实验。他们比较了两次知识学习过程中的参数变化相似度,发现这种相似度明显高于知识学习和技能训练之间的相似度。这证明了相同类型的学习过程确实会在相似的参数空间中进行,而不同类型的学习过程则占据着相互独立的空间。

这种分离现象还有一个重要的功能性解释。研究团队通过理论推导证明,这种参数层面的正交性能够保证功能层面的独立性。当知识更新和技能提升在正交的参数空间中进行时,它们产生的信号在激活空间中也保持独立,不会产生有害的干扰。这就好比一个管弦乐队中,不同乐器可以同时演奏不同的旋律,只要它们在频域上不重叠,就能产生和谐的音乐效果。

**三、技能转移的奇妙旅程:从一个AI到另一个AI的知识传递**

基于对AI大脑内部机制的深刻理解,研究团队开发了一套革命性的技能转移系统。这个系统的工作原理就像是从一位经验丰富的师傅身上"提取"技能精华,然后"注入"到学会新知识的徒弟身上。

整个技能转移过程分为两个精妙的阶段。第一阶段被称为源领域技能提取,就像从一位资深厨师身上学习烹饪技巧的精髓。研究人员首先让AI在源领域同时进行知识学习和技能训练,这相当于让这位"AI厨师"既要记住食谱,又要练习烹饪技巧。然后,他们通过简单的数学运算,将技能训练后的AI参数减去仅进行知识学习的AI参数,得到一个纯粹的"技能向量"。这个向量就像是提炼出来的烹饪技巧精华,不包含任何具体的食谱内容。

第二阶段是目标领域技能注入,这个过程就像给新厨师传授烹饪技巧。当AI需要适应新的应用领域时,研究人员首先让它通过监督学习掌握新领域的知识,就像让厨师学习新菜系的食谱。然后,他们将之前提取的技能向量直接加到这个掌握新知识的AI上,就像把资深厨师的烹饪技巧直接传授给新厨师一样。这种线性组合的方式既保持了新知识的完整性,又赋予了AI运用这些知识的能力。

为了确保技能转移的质量和通用性,研究团队还设计了一套迭代优化策略。他们将源领域的数据分成多个批次,在每个批次上都进行一次完整的技能提取过程。这样做的目的是让提取出的技能向量更加通用,不会过度依赖特定的训练内容。就像一位厨师要在不同的食材和环境下反复练习,才能掌握真正通用的烹饪技巧一样。

这种方法的优雅之处在于它充分利用了知识和技能在参数空间中的正交性。由于这两种类型的更新不会相互干扰,研究人员可以安全地将从一个AI身上提取的技能向量应用到另一个AI身上,而不用担心破坏已经学好的知识结构。这就好比给汽车更换发动机而不影响车身结构,或者给电脑升级处理器而不影响存储的数据一样。

**四、实验验证:从阅读理解到智能助手的全面测试**

为了验证这套技能转移系统的实际效果,研究团队设计了一系列全面而严格的实验。他们选择了三个具有代表性的应用场景:文档问答、长文本理解和智能工具使用,每个场景都像是AI能力的不同考场。

在文档问答测试中,研究人员使用了著名的SQuAD数据集,但采用了更具挑战性的"闭卷考试"模式。就像让学生先背书,然后收掉课本进行考试一样,AI需要先将文档内容完全记忆到参数中,然后在没有参考资料的情况下回答问题。实验结果令人惊喜:使用技能转移方法的AI在准确率上达到了56.9%,相比仅进行知识学习的基线方法提升了17.2个百分点,甚至超过了当时最先进的SEAL方法的47.0%。这就好比一个学生不仅把教科书背得滚瓜烂熟,还掌握了灵活运用知识解答问题的技巧。

长文本理解实验更是展现了这种方法的强大威力。研究人员使用了平均长度超过21000个词汇的超长文档,这相当于让AI阅读一本中篇小说的长度。在这种极具挑战性的任务中,技能转移方法将AI的准确率从30.1%提升到了38.1%,实现了8.0个百分点的显著改善。这种提升就像是让一个人不仅能够记住一本厚厚的百科全书,还能够在需要时迅速找到相关信息并进行推理分析。

最有趣的实验是智能工具使用测试。在这个实验中,AI需要像一位多才多艺的助手,根据用户需求调用各种不同的工具和服务。研究人员让AI先在电影领域学习工具使用技能,然后测试它在其他20个完全不同领域的表现,包括广告、商业软件、数据库、金融等各个行业。结果显示,使用技能转移的AI平均成功率达到了32.2%,比基线方法的21.9%提升了10.3个百分点。更令人印象深刻的是,在一些基线方法完全失败的领域,比如广告和短信服务,技能转移方法能够实现零突破,成功率分别达到16.7%和11.1%。

这些实验结果不仅证明了技能转移方法的有效性,更展现了其跨领域泛化的强大能力。就像一位经验丰富的工程师,掌握了基本的工程思维后,可以在不同的工程领域都表现出色一样,AI通过技能转移获得的能力也具有很强的通用性。

**五、深入机制:为什么这种方法如此有效**

要理解技能转移方法为什么如此有效,我们需要深入探讨其背后的理论基础。研究团队通过严密的数学推导,揭示了这种方法成功的三个关键机制。

首先是参数空间的几何特性。研究人员发现,在高维的神经网络参数空间中,知识学习和技能训练确实沿着近似正交的方向进行。这种正交性不是偶然现象,而是深度学习系统的内在特性。就像在建筑设计中,承重结构和装饰元素可以独立设计而不相互影响一样,AI的知识存储和技能机制也具有天然的模块化特性。

其次是激活空间的信号分离。当知识更新和技能更新在正交的参数空间中进行时,它们在神经网络的激活层面也保持独立。研究团队通过理论分析证明,假设输入数据满足准各向同性分布(这在经过层归一化处理的现代神经网络中很常见),那么知识信号和技能信号的内积期望值接近于零。这意味着这两种信号不会产生有害的相互干扰,就像收音机的不同频道可以同时传输而不会相互影响一样。

第三是高维空间的集中现象。在高维参数空间中,随机向量趋向于相互垂直,这是高维几何的一个重要性质。但研究团队的对照实验表明,知识与技能的正交性并非仅仅是高维空间的随机现象。当比较两次知识学习过程时,它们的相似度明显高于知识学习和技能训练之间的相似度,这证明了这种分离确实具有功能性意义。

这些理论发现还带来了一个重要的启示:AI系统的内部表示具有比我们想象中更强的结构化特性。传统观点认为深度学习是一种"黑盒"系统,其内部机制难以理解。但这项研究表明,至少在知识和技能的组织方式上,AI系统展现出了清晰的模块化结构,这为我们更好地理解和改进AI系统提供了新的视角。

**六、技术创新的三重突破:从理论到实践的完整闭环**

这项研究在技术层面实现了三个重要突破,每个突破都为AI技术的发展开辟了新的方向。

第一个突破是对AI学习机制的全新认识。传统的AI训练方法往往把知识获取和技能培养视为一个统一的过程,就像把记忆和思考混为一谈。这项研究首次明确地将这两个过程分离开来,并证明了它们在神经网络中确实占据不同的空间。这种认识上的转变就像从平面思维转向立体思维一样,为AI系统的设计提供了全新的视角。

第二个突破是技能模块化的实现。通过提取技能向量,研究人员实际上创造了一种"技能胶囊",这种胶囊可以在不同的AI系统之间传递和共享。就像软件开发中的模块化编程一样,这种技能模块化使得AI能力的复用和组合变得可能。一个AI在某个领域获得的技能可以快速传递给其他AI,大大降低了重复训练的成本。

第三个突破是跨域泛化能力的显著提升。传统的AI系统往往在特定领域表现优秀,但难以适应新的应用场景。技能转移方法通过将通用的操作能力从具体的知识内容中分离出来,使得AI能够在新领域中快速适应。这就像培养了一种"学习如何学习"的元能力,让AI具备了更强的适应性和泛化能力。

研究团队还在实现细节上做出了多项优化。他们开发了迭代技能提取策略,通过多轮训练来提取更加稳定和通用的技能向量。这种策略就像让厨师在不同条件下反复练习,直到掌握真正通用的烹饪技巧。此外,他们还设计了精细的超参数调节方案和评估方法,确保技能转移过程的稳定性和可靠性。

更重要的是,这种方法具有很强的可扩展性。随着源领域数据的增加和训练轮次的增多,提取出的技能向量质量会持续改善。这意味着这套系统具有持续学习和自我优化的能力,就像一位经验丰富的师傅,随着教学经验的积累,传授技能的能力也会不断提升。

**七、实用价值与未来展望:改变AI应用的游戏规则**

这项研究的实用价值远远超出了学术界的范畴,它为解决当前AI应用中的诸多痛点提供了可行的解决方案。在实际应用中,AI系统经常需要适应新的业务场景和数据类型,传统方法往往需要重新进行大量的训练,这不仅耗时耗力,还需要大量的标注数据和计算资源。

技能转移方法则像是给AI装上了"即插即用"的技能模块。当企业需要将AI系统应用到新的业务领域时,只需要让AI学习新领域的基础知识,然后应用已有的技能向量,就能快速获得处理新任务的能力。这种方法特别适合那些需要快速部署和迭代的商业场景,比如客服机器人需要学习新产品知识,或者智能助手需要适应新的工作流程。

在成本效益方面,这种方法的优势更加明显。强化学习训练通常需要大量的计算资源和时间,而技能转移只需要进行一次性的技能提取,然后就可以反复使用。这就像开发一个通用的工具库,虽然初期投入较大,但长期的边际成本极低。对于那些需要在多个领域部署AI系统的企业来说,这种方法可以大幅降低整体的开发和维护成本。

从技术发展的角度看,这项研究还开辟了几个重要的研究方向。首先是技能向量的标准化和共享机制研究。如果能够建立一套标准的技能向量格式和共享协议,就可能形成类似开源软件社区的技能共享生态系统。其次是多技能融合和组合的研究。目前的方法主要处理单一技能的转移,未来可能需要研究如何将多个不同的技能向量有效组合,创造出更加复杂和强大的AI能力。

在理论层面,这项研究也为神经网络的可解释性研究提供了新的思路。通过分析技能向量的结构和特性,研究人员可能能够更好地理解AI系统是如何表示和处理不同类型的信息的。这种理解对于开发更加可靠和可控的AI系统具有重要意义。

然而,研究团队也坦诚地指出了当前方法的一些局限性。比如,技能向量的缩放系数目前还需要人工调节,而且该方法主要在特定的模型架构上进行了验证。未来的研究需要探索更加自动化的参数调节方法,以及在更广泛的模型架构上验证这种方法的有效性。

说到底,这项研究最大的价值在于它改变了我们对AI学习机制的理解。它告诉我们,AI系统内部的组织结构比我们想象的更加精妙和有序,知识和技能并非混沌地交织在一起,而是有着清晰的分工和协作。这种发现不仅为当前的技术问题提供了解决方案,更为未来AI系统的设计和优化指明了方向。在AI技术日益成熟的今天,这样的基础性突破显得尤为珍贵,它就像是为AI技术大厦奠定了更加坚实的理论基石。

对于普通人而言,这项研究意味着未来的AI助手将变得更加智能和适应性更强。我们不再需要为每个新任务训练专门的AI,而是可以拥有一个能够快速学习新知识、同时保持高效操作能力的通用智能助手。这样的AI不仅能够记住我们教给它的新信息,更重要的是,它知道如何恰当地使用这些信息来帮助我们解决实际问题。

Q&A

Q1:参数化技能转移框架PaST具体是怎么工作的?

A:PaST的工作原理就像从一位师傅身上提取技能精华再传授给徒弟。首先,系统让AI在源领域既学知识又练技能,然后通过数学运算提取出纯粹的"技能向量"。当AI需要适应新领域时,先让它学习新知识,再把之前提取的技能向量直接加上去,这样AI就既掌握了新知识又具备了运用技能。

Q2:为什么AI学会新知识后不会灵活运用?

A:研究发现AI大脑中"知识存储"和"技能运用"存储在完全不同的神经区域,就像人脑中记忆和操作分工明确一样。通过监督学习获得的知识和通过强化学习获得的技能在神经网络参数空间中几乎垂直分布,这导致AI能记住信息但不知道如何灵活运用。

Q3:这种技能转移方法在实际应用中效果如何?

A:实验结果非常显著。在文档问答任务中,使用PaST的AI准确率达到56.9%,比基线方法提升17.2个百分点。在智能工具使用测试中,AI能够将在电影领域学到的技能成功应用到广告、金融等20个不同领域,平均成功率提升10.3个百分点,证明了强大的跨域泛化能力。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
火锅店向每位客人收取20元“辛苦费”,重庆官方通报:已责令涉事经营者停止该项收费

火锅店向每位客人收取20元“辛苦费”,重庆官方通报:已责令涉事经营者停止该项收费

潇湘晨报
2026-01-29 08:26:14
如果马寅初没有提出人口论,没有实施计划生育,如今我国会怎样?

如果马寅初没有提出人口论,没有实施计划生育,如今我国会怎样?

叹为观止易
2026-01-29 13:49:48
阚清子产后复出状态绝!小香风造型哪像刚生完?

阚清子产后复出状态绝!小香风造型哪像刚生完?

章眽八卦
2026-01-29 19:00:42
热搜上“女儿洗头后最恐怖的一幕”:“皇帝瘾”型父母,逼疯孩子

热搜上“女儿洗头后最恐怖的一幕”:“皇帝瘾”型父母,逼疯孩子

小椰子专栏
2026-01-29 13:06:13
日本为什么挑衅中国,西班牙专家:中国错就错在没跟日本彻底清算

日本为什么挑衅中国,西班牙专家:中国错就错在没跟日本彻底清算

我心纵横天地间
2025-12-08 18:32:33
姑姑寄来12斤腌鸭蛋,我都送邻居,3天后警察敲门:你邻居4口身亡

姑姑寄来12斤腌鸭蛋,我都送邻居,3天后警察敲门:你邻居4口身亡

衍月
2026-01-29 18:34:17
63岁穆帅狂奔!率队欧冠逆袭:最后1秒压哨晋级 附加赛或再遇皇马

63岁穆帅狂奔!率队欧冠逆袭:最后1秒压哨晋级 附加赛或再遇皇马

我爱英超
2026-01-29 07:11:52
“上午立春春节暖,下午立春倒春寒”,2026立春在几点?有啥说法

“上午立春春节暖,下午立春倒春寒”,2026立春在几点?有啥说法

老特有话说
2026-01-28 16:44:22
伊朗大变天!哈梅内伊时代即将落幕,伊朗权力悄悄换主了?

伊朗大变天!哈梅内伊时代即将落幕,伊朗权力悄悄换主了?

阿芒娱乐说
2026-01-29 12:58:11
永远不可能被抹杀的历史:四野部队里的那三万日籍士兵

永远不可能被抹杀的历史:四野部队里的那三万日籍士兵

深度报
2026-01-21 21:25:16
赵本山没想到,爱徒宋晓峰因为女儿闺蜜的爆料,体面被撕得粉碎

赵本山没想到,爱徒宋晓峰因为女儿闺蜜的爆料,体面被撕得粉碎

揽星河的笔记
2026-01-29 17:22:16
不到48小时,特朗普身体传出噩耗,34国军方被召集,对英紧急改口

不到48小时,特朗普身体传出噩耗,34国军方被召集,对英紧急改口

知鉴明史
2026-01-28 13:08:03
老爹不传位,儿子为何还要硬上位?揭秘伊朗权力场上的生死豪赌

老爹不传位,儿子为何还要硬上位?揭秘伊朗权力场上的生死豪赌

形上谓道
2026-01-28 21:07:23
重磅罚单出炉后先横再怂:北京国安一举动像极了闫学晶

重磅罚单出炉后先横再怂:北京国安一举动像极了闫学晶

姜大叔侃球
2026-01-29 18:32:18
刚刚,早间38家公司出现重大利空消息,有没有与你相关的个股?

刚刚,早间38家公司出现重大利空消息,有没有与你相关的个股?

股市皆大事
2026-01-29 08:18:18
隐忍24年,陈婷终于撕下完美伪装,她给所有“已婚女人”上了一课

隐忍24年,陈婷终于撕下完美伪装,她给所有“已婚女人”上了一课

瓜汁橘长Dr
2025-12-30 17:03:39
黎笋之子黎坚诚坦言:父亲选择同中国开战,是其毕生最大的失策

黎笋之子黎坚诚坦言:父亲选择同中国开战,是其毕生最大的失策

磊子讲史
2025-12-24 11:04:05
为何一艘美航母上,都要带足大量女兵,她们在航母上有什么作用?

为何一艘美航母上,都要带足大量女兵,她们在航母上有什么作用?

大千世界观
2025-12-19 21:58:37
0-11惨遭剃光头!19岁纵歌曼再战克星张本美和,能否打破心魔?

0-11惨遭剃光头!19岁纵歌曼再战克星张本美和,能否打破心魔?

阿晞体育
2026-01-29 09:43:09
2-0横扫!萨巴伦卡连续4年进决赛,冲击澳网第3冠,奖金1053万

2-0横扫!萨巴伦卡连续4年进决赛,冲击澳网第3冠,奖金1053万

体育就你秀
2026-01-29 18:30:33
2026-01-29 19:27:00
至顶AI实验室 incentive-icons
至顶AI实验室
一个专注于探索生成式AI前沿技术及其应用的实验室。
1460文章数 157关注度
往期回顾 全部

科技要闻

周亚辉的AI新赌局:国内太卷 出海另起炉灶

头条要闻

女大学生到东北游玩晕倒雪地冻伤 三根手指或面临截肢

头条要闻

女大学生到东北游玩晕倒雪地冻伤 三根手指或面临截肢

体育要闻

詹姆斯哭了!骑士视频致敬41岁超巨

娱乐要闻

张译不再隐瞒!公开回应退圈息影真相

财经要闻

崔东树:中国汽车未来年销或达5000万辆

汽车要闻

车长超5米还带后轮转向 比亚迪海豹08/海狮08将亮相

态度原创

游戏
家居
手机
公开课
军事航空

『信长之野望 霸道』 举办「繁中玩家支援特别活动」 送出豪华奖品!

家居要闻

极简轻奢 家的无限可能

手机要闻

iPhone 16成2025年全球销冠,前十榜单中苹果独占七席

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

中国代表:支持伊朗国家稳定 武力解决不了问题

无障碍浏览 进入关怀版