机器学习原子势的“维度诅咒”—在高维空间被低估的挑战

在原子建模领域，机器学习原子势（machine learning interatomic potential，MLIP）如今已成为一项被广泛应用的技术。它作为一种新兴计算方法有潜力解决精确拟合原子相互作用和计算量之间的矛盾。不少研究表明，机器学习原子势能够精确拟合第一性原理计算所得的材料体系能量和原子间相互作用力，但在重现物理现象和在预测材料的性质上的性能参差不齐。因此，量化机器学习原子势对一系列材料性质预测的总体性能，并开发一个全面分析过程迫在眉睫。

来自美国马里兰大学材料科学和工程系的莫一非教授团队，在硅材料体系内系统性检测了大量机器学习原子势模型对一系列材料性质预测的总体性能，并引入了一套对机器学习原子势总体性能的分析流程（图1）。不同于对单个或几个机器学习原子势模型预测的性能进行分析的传统方法，在该分析流程的框架下每一个材料性质的预测准确性会被当作一个独立性能维度，研究员会先使用一种低计算成本的采样方法收集大量机器学习原子势模型，计算它们对不同材料性质的预测准确性并设定准确性基准，最后通过分析帕累托前沿、建立对模型或对材料属性的图网络等一系列方法分析机器学习原子势在高维空间内的总体性能。

图1｜分析流程。（a）机器学习原子势的训练步骤。（b）从验证步骤的模型池中采样大量机器学习原子势并量化它们在预测多种材料性质时的性能。分析计算所得机器学习原子势的性能数据用以（c）识别有挑战性的材料性质预测和（d）高维相关性联系。

该研究测试并总结了2300个机器学习原子势模型在硅体系里的性能数据，由6种不同类型的机器学习模型和5个不同的训练集构成，其分析的60个材料性质覆盖7个类别（图2）。通过观察，这些机器学习原子势模型困于预测四类材料性质，包括：1）能量排序，2）缺陷形成能，3）稀有事件，和4）对弹性常数的预测（图3）。值得关注的是，机器学习原子势模型在预测有缺陷材料结构的能量排序的准确性都远远低于其他材料性质的预测，故预测不同结构的能量排序是一类极具挑战性的任务。

图2｜研究所用的机器学习原子势模型和材料性质数据总结。（a）由6种机器学习原子势和5个训练集所构成的2300个原子势模型的分布。（b）7个类别的60个材料性质以及它们对应的预测准确性基准。

图3｜预测准确性较低的四类挑战性材料性质。机器学习原子势在预测四种挑战性材料性质的误差累积分布函数（CDF）曲线：（a）基于数据集D1的能量排序错误率，（b）对间隙缺陷的稀有事件原子作用力方向的预测误差（NAC值），（c）对六边形间隙缺陷形成能的预测误差，（d）对包含一个六边形间隙缺陷的硅晶胞的弹性常数C12预测误差。图中的红色虚线表示性质预测误差基准线，基准线旁的数值表示符合基线的机器学习原子势模型数量占比。

除了这四类难以准确预测的材料性质，该研究还揭示了一种机器学习原子势在高维空间内的特别挑战：对于某类性质（比如缺陷形成能），机器学习原子势往往不能同时准确预测其所有属性（图4）。因为这一困境难以被传统分析方法发现，除非基于大量原子势模型数据并在多维度性能数据空间观察它们的总体性能，所以这一挑战容易被研究人员低估，而识别这种挑战有重要的科学价值。

图4｜机器学习原子势对不同类别性质的总体性能和聚类分析。不同种类机器学习原子势模型预测误差的帕累托锋线以及锋线上的最优模型（b）空穴缺陷形成能vs.六边形间隙缺陷形成能，（d）空穴缺陷形成能vs.四面体间隙缺陷形成能，（g）间隙缺陷中作用于稀有事件原子作用力误差大小（NAC值）vs.空穴缺陷中作用于稀有事件原子作用力误差大小（NAC值），（i）空穴缺陷中作用于稀有事件原子作用力的均方根误差vs.间隙缺陷中作用于稀有事件原子作用力误差大小（NAC值）。黑色虚线代表预测误差饿最小值，两条黑色虚线的交点表示计算帕累托锋线的超体积（HV）和反世代距离评价指标（IGD）的基准点。在最低和次最低超体积指标和反世代距离评价指标里的占比，（a）和（c）反映了在缺陷形成能这类性质中，不同机器学习原子势的二维帕累托锋线性能占比，（f）和（h）反映了在稀有事件这类性质中不同机器学习原子势的二维帕累托锋线性能占比。不同种类的机器学习原子势最优模型在（e）缺陷形成能类的4个性质和（j）稀有事件类的8个性质性能空间里的聚类图。相似的两个最优模型会在图聚类里被连起来。

该研究随后总结了机器学习原子势在不同维度下的总体性能，提出机器学习原子势在高维空间里的总体性能也存在“维度诅咒”，即：维度越高（预测的性质越多），找到同时满足所有基准的最优模型的概率越低（图5）。该研究最后用大量机器学习原子势数据构建了相关性图，揭示了材料性质预测准确性之间的关联并据此选出有代表性的21种性质，大大缩减了预测属性空间（图6）。

图5｜机器学习原子势在不同维度下对所有材料性质组合的总体性能。（a）满足所有基准的最优模型数量在不同维度下的累积函数分布曲线，其中蓝、橙、绿和红色曲线分别对应二维（2种性质）、三维（3种性质）、四维（4种性质）和五维（5种性质）空间的最优模型数量分布。图中的黑色点划线表示不存在满足所有基准的最优模型的概率。（b）在不同机器学习原子势数据里，不存在满足所有基准的最优模型的概率相对不同维度的函数。

图6｜60个材料性质的预测误差关联图。不同种机器学习原子势的预测误差关联图，包括（a）所有机器学习原子势、（b）GAP机器学习原子势、（c）神经网络势NNP机器学习原子势、和（d）MTP机器学习原子势。图中每个节点代表一种材料性质的预测误差，图中被关联的两个节点表示这两种材料性质预测误差的皮尔森相关性系数平方大于0.6。图中红色边框的节点代表每个聚类的代表性性质。

该研究的特色之一是收集了大量不同机器学习原子势的性能数据，揭示了多个机器学习原子势所面临的挑战，包括数类难以精确预测的材料性质、在预测多个材料性质时难以同时达到所有基准、以及找到满足所有基准的最优机器学习原子势的概率随着维度增长快速下降的“维度诅咒”。该研究的分析流程框架着重于分析机器学习原子势在高维性质空间里的总体性能，总结并量化了高维总体性能的规律，为未来改进机器学习原子势提供了严谨的数值依据。研究中多样的高维分析方法为将来进一步更全面地检测机器学习原子势模型提供了指导方向。该文近期发表于npj Computational Materials10, 159 (2024)。

论文链接：

https://www.nature.com/articles/s41524-024-01333-3