Nat. Commun. | 临床AI中的“遗忘偏差”：医疗记录缺失如何制造算法不公平

来源：市场资讯

（来源：DrugAI）

DRUGONE

在数字医疗时代，患者“被遗忘权（Right to be Forgotten, RtbF）”要求人工智能系统能够在患者提出请求后，从已部署模型中删除对应健康记录。这一过程在人工智能领域被称为“机器遗忘（machine unlearning）”。然而，研究人员发现，遗忘病历会改变模型对不同患者亚群体的认知，从而导致更加具有歧视性的临床决策，这一现象在多项真实医疗任务中被系统验证。

这一发现揭示了临床AI中的一个关键伦理困境：保护部分患者的被遗忘权，可能会损害其他患者获得公平诊疗的权利，从而违反AI公平性原则。因此，研究人员提出了一种新的“公平遗忘（Fair Unlearning, FU）”框架，旨在在删除病历的同时减轻算法偏差，提高模型在不同人群之间的公平性。

该方法通过约束不同优化目标之间梯度的正交性，避免“遗忘病历”“维持性能”和“减少偏见”之间的负面干扰。研究人员在多个真实世界、多医院临床数据集上进行了广泛实验，包括COVID-19快速筛查、院内死亡预测以及休克预测任务。

结果显示，与当前最先进方法相比，该框架不仅能够更加有效地遗忘患者记录，同时还能保持更好的预测性能，更重要的是，它显著降低了不同族裔与医院之间的算法不公平现象。研究人员认为，这项工作首次为“被遗忘权”与“AI公平性”之间的伦理冲突提供了一个通用解决方案。

在人类社会中，“遗忘”往往被视为失败或缺陷，但研究人员指出，适度遗忘实际上是记忆系统的重要组成部分。它不仅有助于抽象化经验、促进伤口愈合和宽恕，也与隐私保护密切相关。随着《通用数据保护条例（GDPR）》中“被遗忘权”的正式确立，患者有权要求医疗机构删除自己的健康数据。

然而，在人工智能时代，删除数据并不像从数据库中删除文件那样简单。因为一旦AI模型使用患者病历完成训练，这些信息就可能已经以隐式方式存储在模型参数中。攻击者甚至能够通过模型反演或成员推断等方法恢复敏感信息。因此，仅删除原始数据库中的病历是不够的，还必须让AI模型“忘记”这些数据。

最直接的方法是重新训练模型，但在真实临床环境中，这几乎不可行。大型医疗AI系统每天都可能接收到大量删除请求，而完全重新训练模型不仅计算成本极高，也无法满足实时临床部署需求。因此，机器遗忘技术成为实现RtbF的关键。

然而，研究人员指出，目前机器遗忘研究几乎只关注“如何删除数据”，却忽视了一个更严重的问题：遗忘会改变AI模型对不同群体的认知，从而加剧算法歧视。研究人员发现，现有机器遗忘方法会显著扩大不同族裔与医院之间的预测不平等，导致少数群体更容易遭受错误诊断与不公平治疗。

这一现象意味着，当前AI技术无法同时满足GDPR中的两项核心要求：一方面保护患者被遗忘权，另一方面避免算法歧视。因此，“RtbF–公平性困境”成为临床AI中的重要伦理挑战。

方法

研究人员提出了一种新的公平遗忘框架（FU），核心思想是在“遗忘病历”“保持模型性能”和“维持公平性”三个目标之间建立梯度正交关系，从而避免不同优化方向之间互相干扰。具体而言，模型同时优化三类目标：

第一类是传统预测损失，用于维持临床性能；第二类是遗忘损失，用于删除目标病历；第三类是公平性损失，用于减少不同亚群体之间的预测差异。研究人员通过Gram-Schmidt正交化方法，将遗忘梯度投影到与性能梯度和公平梯度正交的子空间中，从而避免删除病历时破坏模型公平性与诊断能力。

实验使用了四个真实世界数据集，包括：

• CURIAL 与 CURIAL-Combined：COVID-19快速筛查；

• eICU：院内死亡与休克预测；

• MIMIC-IV：ICU死亡预测。

研究人员同时采用成员推断攻击、模型反演攻击、公平性指标（EO与DP）以及AUROC等多维指标，系统评估不同遗忘方法的效果。

图1：公平遗忘（FU）框架示意图，包括梯度正交机制与三类优化目标之间的关系.

结果

遗忘病历会显著加剧算法不公平

研究人员首先发现，几乎所有现有机器遗忘方法都会导致模型在不同患者群体之间产生更严重的不公平预测。

在CURIAL、eICU和MIMIC-IV等多个数据集上，当模型遗忘1%、5%和10%的病历后，不同族裔或不同医院之间的预测差异显著扩大。总体而言，被遗忘的数据越多，模型越容易对少数群体产生偏见。

相比之下，FU不仅没有放大不公平，反而能够持续降低不同亚群体之间的预测差异。例如，在COVID-19筛查任务中，FU在不同遗忘比例下均显著降低了EO-TP、EO-FP和DP指标，甚至优于“完全重新训练模型”这一传统黄金标准。

研究人员进一步发现，FU在跨医院泛化中同样表现稳定，即使面对更加多样化的族裔结构，模型仍能保持公平预测能力。

图2：不同机器遗忘方法在族裔与医院公平性指标上的比较。

FU能够同时保持临床性能与隐私保护

研究人员进一步评估了不同遗忘算法的临床性能与隐私保护能力。

结果显示，许多现有方法会引发严重“灾难性遗忘”，导致模型AUROC明显下降。例如SCRUB方法在COVID-19筛查任务中随着遗忘比例增加，诊断性能快速恶化。

相比之下，FU在不同遗忘比例下均保持了较高诊断性能。即使遗忘10%的病历，其AUROC下降仍明显小于其他方法，并且接近重新训练模型的水平。

在隐私保护方面，研究人员使用成员推断攻击与模型反演攻击评估模型是否真正“忘记”病历。结果表明，FU在大多数任务中均获得了最接近理想状态的MIA-AUROC值，同时模型反演距离也最高，说明FU能够更加彻底地删除患者信息。

图3：FU在临床性能、隐私保护与公平性之间的综合表现比较。

梯度正交机制为何有效

为了理解FU为何能够减少不公平，研究人员进一步分析了不同目标之间的梯度关系。

研究发现，在传统遗忘方法中，“遗忘目标”与“性能目标”之间往往存在大量负相关梯度，即不同优化方向互相冲突。这会导致模型在删除数据时同时破坏已有知识结构，从而加剧不公平。

而FU通过梯度正交化，使不同目标之间的梯度相互独立，显著减少了冲突。研究人员通过余弦相似度分析发现，FU能够将梯度分布集中到接近0的位置，意味着不同目标之间基本不存在干扰。

研究人员还利用t-SNE分析不同医院数据的潜在表示。传统遗忘方法会让模型更依赖医院特征，从而产生明显的医院聚类；而FU则能够打散这种聚类结构，使模型更加“医院无关”，从而降低地理偏见。

最后，SHAP分析表明，FU不会明显改变模型对关键临床特征的解释能力。遗忘病历后，模型仍主要依赖血红蛋白、红细胞压积等重要指标进行预测，说明FU不会破坏临床可解释性。

图4：梯度正交化、t-SNE潜在空间以及SHAP解释结果展示FU如何缓解算法偏见。

研究人员认为，本研究首次系统揭示了“机器遗忘”可能带来的社会性后果：在保护患者被遗忘权的同时，AI模型可能会对少数群体产生更加不公平的决策。

这种影响具有长期累积效应。例如，在AI辅助诊疗系统中，如果模型不断遗忘患者记录，少数族裔患者可能会逐渐获得更少治疗机会，从而进一步加剧现有医疗不平等。此外，模型公平性下降还会降低患者对医疗AI的信任，阻碍未来智能医疗发展。

研究人员提出，FU最大的价值在于，它首次为“被遗忘权”与“公平性原则”之间的伦理冲突提供了实际解决方案。通过梯度正交机制，FU能够在保持临床性能和隐私保护的同时，显著降低算法歧视。

不过，研究人员也指出，该方法仍存在局限。例如，目前仅验证了部分临床任务，还未覆盖回归任务、罕见病预测以及更复杂基础模型场景。同时，现实部署中还可能出现联邦学习、多轮遗忘操作以及更多隐私攻击方式等复杂问题。

研究人员最后强调，算法遗忘不仅是一个技术问题，更是一个涉及隐私、公平与社会信任的复杂伦理问题。未来的医疗AI系统不仅需要“会学习”，更需要“公平地遗忘”。

整理 | DrugOne团队