【人工智能】可控遗忘：AI 记忆领域的下一个重大挑战

多年来，人工智能领域一直专注于一个目标：提升系统的记忆力。我们利用海量数据集训练模型，并不断提高其信息保留和回忆能力。但如今，我们却面临着一个令人不安的现实：那些曾经永不遗忘的系统，如今却被自身的记忆所束缚。曾经的优势，如今却成了严重的弱点。

人类天生就会遗忘。我们会放下信息，适应环境，继续前进。人工智能系统则不然。除非我们教会它们遗忘，否则它们会记住一切。这造成了诸多问题。人工智能面临着隐私侵犯、信息过时、固有偏见以及学习新任务时系统崩溃等诸多挑战。我们未来的挑战不在于如何让人工智能记住更多东西，而在于如何教会它们明智地遗忘。

01

遗忘的两副面孔

人工智能中的遗忘现象以两种不同的形式出现，每一种都有其自身的问题。

第一种是灾难性遗忘。当神经网络在接受新任务训练后丢失先前学习的知识时，就会发生这种情况。例如，一个训练用于识别猫狗的模型，在学习识别鸟类后，可能会忘记识别猫狗的能力。

第二种形式是受控遗忘。这是人为的，指的是有意地从训练好的模型中删除某些信息。像GDPR这样的隐私法赋予人们“被遗忘权”，要求公司在收到请求后删除数据。这并非是为了修复有缺陷的系统，而是为了有意地删除那些本不应该存储或必须在收到请求后立即消失的数据。

这两个问题方向相反。一个问题要求我们阻止遗忘，另一个问题则要求我们创造遗忘的可能性。如何同时解决这两个问题，是人工智能面临的最大挑战之一。

02

当记忆成为一种负担

人工智能研究长期以来一直致力于提升记忆能力。模型规模越来越大，数据集越来越庞大，上下文窗口也越来越长。像 GPT-4o 这样的系统现在可以处理128,000 个上下文词元，而 Claude 甚至可以达到200,000 个。这些进步提高了性能，但也带来了新的问题。

当模型记忆的信息过多时，它可能会回忆起过时或无关的信息。这不仅浪费计算资源，还会让用户感到困惑。例如，假设你有一个基于公司知识库训练的客户支持聊天机器人。你更新了一项政策，但在几次交互后，机器人又回到了旧信息。这是因为人工智能无法正确地对记忆进行优先级排序。人工智能无法区分哪些信息是最新的，哪些是旧的。

隐私法让事情变得更加复杂。根据 GDPR（通用数据保护条例），当用户要求删除其数据时，公司必须删除这些数据。但从人工智能模型中删除数据与从计算机中删除文件截然不同。一旦个人数据成为模型参数的一部分，它就会在网络内部数百万个连接中传播。重新训练整个系统以删除这些数据成本高昂，而且往往是不可能的。研究表明，规模更大的模型更容易受到网络攻击。模型越大，它就越容易记住数据，并且在精心设计的提示下，它就能重现私人数据。攻击者可以提取他们本不应该获取的信息。

03

什么因素导致遗忘难以实现

人工智能模型并不像文件夹里的文件那样存储训练样本。它们会将训练信息压缩并混合到自身的权重和激活函数中。因此，在不影响其他数据的情况下移除其中一条数据极其困难。此外，我们也很难追踪特定训练数据如何影响模型的内部权重。一旦模型从数据中学习，这些知识就会以难以追踪的方式扩散到其参数中。

每次收到删除请求后都从头开始重新训练模型是不可行的。当有人根据 GDPR 要求删除其个人数据时，您需要将其从 AI 系统中移除。但在大多数生产环境中，每次都从头开始重新训练模型成本太高且速度太慢。对于基于数十亿数据点训练的大型语言模型而言，这种方法成本高昂且耗时过长。

验证遗忘行为是另一项挑战。我们如何证明数据确实已被遗忘？企业需要外部审计来证明其已删除信息。如果没有可靠的验证方法，企业就无法证明其合规性，用户也无法相信他们的数据真的已被彻底删除。

这些挑战催生了一个名为“机器学习反学习”的新领域。它专注于从已训练的模型中消除特定数据的影响。但这些方法仍处于早期阶段。精确的反学习通常需要重新训练模型，而近似方法可能会留下被删除信息的痕迹。

04

稳定性-可塑性困境

我们需要解决的核心挑战是如何防止灾难性遗忘，同时实现可控遗忘。这就引出了人工智能面临的一个关键挑战：稳定性与可塑性之间的两难困境。模型必须足够灵活才能学习新信息，同时也要足够稳定才能保留旧知识。如果我们过度强调模型的稳定性，它就无法适应变化。另一方面，如果我们过度强调模型的灵活性，它又会忘记曾经学习过的一切。

人类记忆为解决这一难题提供了有用的线索。神经科学告诉我们，遗忘并非缺陷，而是一个主动的过程。大脑会刻意遗忘，以促进学习。它会移除或抑制旧的或低价值的信息，从而使新的记忆更容易被提取。当人们学习一门新语言时，他们并不会抹去旧语言。但如果他们停止使用旧语言，回忆就会变得困难。信息仍然存在，只是优先级降低了。大脑采用的是选择性抑制，而非删除。

人工智能研究人员开始采用类似的理念。生成式重放技术模仿大脑存储记忆的方式。它们创建过去知识的抽象表征，而不是存储原始数据。这减少了灾难性遗忘，并使记忆保持精简。另一个很有前景的想法是智能衰减。存储的记忆会根据其时效性、相关性和实用性进行评分。不太重要的记忆会逐渐降低优先级，并减少被提取的频率。这使得信息始终可用，但只有在需要时才会被调用。人工智能系统可以管理庞大的知识库，而不会丢弃任何潜在的宝贵信息。

目标不是抹去记忆，而是巧妙地平衡记忆与遗忘。

05

未来会是什么样子

该行业正朝着三个主要方向发展。

首先，混合记忆架构正在兴起。这些系统将情景记忆（特定经验）与语义记忆（一般知识）相结合。它们利用排序和剪枝机制来保留重要信息，同时逐渐淡化不太相关的信息。

其次，隐私增强技术正日益普及。诸如联邦学习、差分隐私和同态加密等技术减少了对敏感个人数据的需求。这些方法允许模型在不收集敏感用户信息的情况下进行协作或安全训练。它们虽然不能直接解决遗忘问题，但可以减少日后需要遗忘的个人数据量。

第三，机器学习的“遗忘”技术不断进步。新的方法可以在不完全重新训练模型的情况下，调整与特定数据相关的模型参数。这些方法尚处于早期阶段，但它们正朝着符合数据删除要求的方向发展。然而，验证遗忘是否真正彻底清除所有数据痕迹仍然很困难。研究人员正在开发测试方法来衡量其效果。

总结

人工智能系统在记忆方面已经非常出色，但在遗忘方面仍然表现不佳。这一差距正变得越来越不容忽视。随着人工智能能力的不断增强和监管的日益严格，明智地遗忘的能力将与记忆能力同等重要。为了使人工智能更安全、更具适应性、更注重隐私，我们必须教会它谨慎、有选择地、智能地遗忘。可控的遗忘不仅能够保护数据隐私，还能帮助人工智能系统在进化过程中避免成为自身记忆的囚徒。

免责声明：

本文所发布的内容和图片旨在传播行业信息，版权归原作者所有，非商业用途。如有侵权，请与我们联系删除。所有信息不构成任何投资建议，加密市场具有高度风险，投资者应基于自身判断和谨慎评估做出决策。投资有风险，入市需谨慎。

设为星标 避免错过

虚拟世界没有旁观者，每个点赞都是创造历史的像素

关注我，一起探索AWM⁺

2025-11-03

2025-10-31

2025-10-30

商业赞助

点击下方 “目录” 阅读更多