当你在撰写数据库论文时遇到缺失数据怎么办？一文详解

来源：丁香科研

在流行病学、公共卫生以及大规模数据库研究中，数据缺失是无法回避的挑战。不要小看几个 NA ，它们背后可能藏着偏倚、失效和推论失真。缺失数据不仅会降低分析效率，更可能引入系统性偏倚。尤其当缺失与关键变量相关时，即使比例不高，也足以「颠覆结论」。因此，了解缺失的来源、识别其机制，并匹配科学处理方法，是每位科研者必须掌握的统计素养。

今天这篇干货，我们就来拆解：
数据缺失的三大机制：MCAR、MAR、MNAR到底有何不同？
怎么判断缺失机制？Little's MCAR 检验、回归诊断、可视化策略
应该用删除法还是插补法？

一、数据缺失的三大机制：MCAR、MAR、MNAR

1.完全随机缺失（ MCAR，, Missing Completely at Random ）

当缺失概率与已观测 / 未观测变量完全无关时，即属此类理想情况。例如：调查问卷的某些问题因填写者的疏忽被跳过，且与其他回答无关。

特点：缺失数据的原因完全独立于任何其他变量。

影响：MCAR 类型的缺失主要影响估计的精确度(增加标准误)，但不会导致参数估计的系统性偏差。这是因为缺失完全随机，保留的数据仍然代表整个总体。

2.随机缺失（MAR, Missing at Random）

缺失概率与已观测变量相关，但与被缺失值本身无关。换句话说，缺失数据的模式可以通过观察到的其他变量来解释。例如：女性通常不想透露她们的年龄，则年龄变量的缺失值受性别变量的影响。

特点：缺失数据的出现与已知数据有关，但与缺失数据本身无关。

影响：在这种情况下，通过对已观察到的变量进行建模，可以相对准确地估计缺失值，填补缺失数据时可以采取合适的处理方法，如回归插补或多重插补。

3.非随机缺失（MNAR, Missing Not at Random）

最棘手的类型，缺失概率与被缺失值本身直接相关。换句话说，缺失数据的模式与其他变量（已观测或未观测）无关，但与缺失的数值有关。例如：在收入调查中，收入较高的人可能更不愿意透露自己的收入水平，这导致收入数据缺失。

特点：缺失值本身的特征影响了数据的缺失模式。

影响：这种类型的缺失数据较为复杂，传统的填补方法可能无法解决问题，需要采用更加复杂的模型（如使用结构方程模型或敏感性分析等）来处理。

注意：此种机制假设性较强，且往往难以进行有力验证。若无法满足MCAR的强假设条件，将缺失值全部按照MCAR机制处理是不可取的。

二、如何判断缺失机制？
1. Little's MCAR 检验

原理：Little's MCAR 检验是一种统计方法，用于检验数据是否满足完全随机缺失（MCAR）假设。

（1）基本思想：如果数据是 MCAR ，缺失值的模式应该与观测值无关。Little's 检验通过比较不同缺失模式下观测值的均值差异，检验是否显著。

（2）统计假设：

原假设(H₀)：数据是 MCAR，即缺失值与观测值无系统性关联。

对立假设(H₁)：数据不是 MCAR（可能是 MAR 或 MNAR）。

（3）检验统计量基于卡方分布，p 值大于 0.05 通常表明无法拒绝 MCAR 假设。

适用场景：

1.适用于连续变量数据集，检验缺失是否完全随机。

2.若数据包含分类变量，需要先将其转换为哑变量（dummy variables）。

局限性：

1.Little's 检验只能判断是否为 MCAR，无法直接区分 MAR 和 MNAR。

2.对样本量较小或缺失比例过高的情况，检验效力可能不足。

2. 分析缺失模式与观测变量的相关性

原理：通过探索缺失值与观测变量之间的关系，判断是否为MAR。例如，如果某个变量的缺失概率与另一个观测变量（如性别、年龄）相关，则可能是 MAR。

方法：

（1）可视化分析：绘制缺失模式图，观察缺失值分布是否与某些变量相关。例如缺失值热图（Missingno）中行列分布有无规律。缺失值热图通过行列缺失模式可视化（颜色越深表示缺失越多），揭示以下关键信息：

1)缺失是否聚集在特定变量（列）→ 可能是 MNAR；

2)某些变量同时缺失→ 可能为 MAR；

3)缺失行无明显规律→ 可能是 MCAR。

统计检验：使用 t 检验、相关性检验或 logistic 回归，分析缺失指标（是否缺失）与其他变量的相关性。例如：

（1）计算缺失指示变量与观测变量的相关系数：创建一个缺失指示变量（0表示不缺失，1表示缺失），然后计算该指示变量与数据集中其他观测变量的相关系数。如果相关系数显著，说明缺失模式与观测变量有关，可能是MAR；如果相关系数不显著，可能是MCAR。

（2）使用逻辑回归模型：以缺失指示变量为因变量，以观测变量为自变量，建立逻辑回归模型。如果模型中的自变量显著，说明缺失模式与观测变量有关，可能是MAR。

适用场景：

1.适合探索 MAR 和 MNAR，尤其是当 Little's 检验拒绝 MCAR 假设时。

2.适用于混合类型数据（连续变量和分类变量）。

局限性：

1.需要研究者对变量关系有一定假设，可能需要多次检验。

2. MNAR 的判断通常依赖领域知识，难以完全通过统计方法确认。

3. 诊断框架

根据Zhou 等（2024）的研究，诊断缺失数据类型的框架通常结合以下步骤：[Zhou, Y., Aryal, S., Bouadjenek, M.R., 2024. Review for Handling Missing Data with special missing mechanism. https://doi.org/10.48550/arXiv.2404.04905]

（1）初步描述性分析：

1）计算每个变量的缺失比例。

2）使用缺失模式图观察缺失值的分布。

（2）Little's MCAR 检验：运行 Little's 检验，判断是否为 MCAR 。

（3）缺失模式与观测变量的相关性分析：

1）通过统计检验（如logistic 回归）分析缺失指标与其他变量的关系。

2）使用可视化工具（如热图或矩阵图）探索缺失模式。

（4）敏感性分析（针对 MNAR）：如果怀疑是 MNAR，构建模型（如选择模型或模式混合模型）假设缺失值与自身相关，进行敏感性分析。

（5）领域知识结合：结合研究背景判断缺失机制。例如，收入缺失可能与收入水平本身相关（MNAR）。

三、缺失处理方法技术图谱

1.删除法
列表删除（listwise）：适用于 MCAR + 缺失比例 <5%
成对删除（pairwise）：分析相关性时按需删除，保留更多样本

2.单一插补
均值插补：适用于 MCAR 下的连续变量
LOCF/WOCF ：临床时间序列常用，但有偏
回归插补：基于相关变量预测缺失值
KNN：根据邻近值插补，适合大数据
随机森林：非参数法，适合多类型变量
期望最大化（EM）：迭代最大似然估计，适用于复杂模型

3.多重插补（Multiple Imputation, MI）
三步走：
① 生成多个插补数据集；
② 每个数据集独立分析；
③ Rubin’s Rules 合并估计值与标准误；
适用机制：MAR，当前最推荐方法之一

四、总结建议

小比例 MCAR → 可用删除法；
MAR → 多重插补是首选；
怀疑 MNAR → 必须做敏感性分析；
论文中务必说明缺失比例、假设机制与处理策略；
不要盲用 dropna()，缺失不等于「坏数据」，而是「信息不完全」。

最后提醒：合理处理缺失，是你论文能否「站得住脚」的关键一步。

我们长期为科研用户提供前沿资讯、实验方法、选品推荐等服务，并且组建了 70 多个不同领域的专业交流群，覆盖PCR、细胞实验、蛋白研究、神经科学、肿瘤免疫、基因编辑、外泌体、类器官等领域，定期分享实验干货、文献解读等活动。

添加实验菌企微，回复【】中的序号，即可领取对应的资料包哦～

【2401】论文写作干货资料（100 页）

【2402】国内重点实验室分子生物学实验方法汇总（60 页）

【2403】2024 最新最全影响因子（20000+ 期刊目录）

【2404】免疫学信号通路手册

【2405】PCR 实验 protocol 汇总

【2406】免疫荧光实验 protocol 合集

【2407】细胞培养手册

【2408】蛋白纯化实验手册

【2501】染色体分析方法汇总

【2502】国自然中标标书模板

【2503】WB 实验详解及常见问题解答

【2504】DeepSeek 论文写作常用口令

【2505】中国科学院期刊分区表（2025 年最新版）

【2506】期刊影响因子（2025 年最新版）