基于机器学习的流程建模

在过去的几个世纪里，第一原理，如守恒定律，一直是流体建模的主要组成部分。然而，对于高雷诺数，使用流体力学中最著名的模型纳维尔-斯托克斯方程进行尺度解析模拟，超出了我们目前的计算资源。另一种方法是根据这些方程的近似或特定配置的实验室实验进行模拟。然而，仿真和实验对于迭代优化来说是昂贵的，而且仿真对于实时控制来说往往太慢(Brunton & Noack 2015)。因此，在获取精确、高效的降阶模型方面，已经投入了大量的精力，这些模型能够以较低的成本捕捉基本的流动机制(Rowley & Dawson 2016)。机器学习为流体力学中的降维和降阶建模提供了新的途径，它提供了一个简明的框架，补充和扩展了现有的方法。

我们区分出两个互补的方向:降维和降阶建模。降维涉及提取关键特征和主导模式，这些特征和模式可作为简化坐标，在该坐标中流体被紧凑和有效地描述(Taira等人，2017)。降阶建模将流动的时空演化描述为一个参数化的动态系统，尽管它也可能涉及开发从参数到平均量(如阻力)的统计图。

在确定坐标转换和简化动力学和捕获基本流物理的简化方面已经作出了重大的努力:适当的正交分解(POD)就是一个显著的例子(Lumley 1970)。模型简化，如纳维尔-斯托克斯方程在POD模态的正交基上的伽辽金投影，得益于与控制方程的密切联系;然而，它是侵入性的，需要人类的专业知识来从工作模拟中开发模型。机器学习构成了一个快速增长的模块化算法体的数据驱动系统识别和建模。数据驱动流体建模的独特方面包括控制方程、约束条件和对称性的部分先验知识的可用性。随着仿真能力和实验技术的进步，流体动力学正成为一个数据丰富的领域，因此可以使用大量的机器学习算法。

在这篇综述中，我们将机器学习算法与模型流动区分开来：1）通过提取流动特征的运动学和 2）通过采用各种学习架构的动力学。

1．流动特征提取

模式识别和数据挖掘是机器学习的核心优势，许多技术都很容易应用于时空流数据。我们区分线性和非线性降维技术，然后是聚类和分类。我们还考虑了加速测量和计算策略，以及处理实验流场数据的方法。

1.1。降维:线性和非线性嵌入。

流体动力学模拟和建模的一种常见方法是定义从物理坐标到模态基的正交线性变换。POD为基于经验测量的复杂几何提供了这样的正交基础。Sirovich(1987)引入了快照POD，它将计算减少到一个包含奇异值分解的简单数据驱动过程。有趣的是，同年，Sirovich使用POD生成了一个用于人脸分类的低维特征空间，这是许多现代计算机视觉的基础(Sirovich & Kirby 1987)。

POD与主成分分析(PCA)算法密切相关，主成分分析是应用统计学和机器学习的基本算法之一，用来描述高维数据中的相关性。我们回想一下，PCA可以表示为一个两层神经网络，称为自动编码器，以压缩高维数据的紧凑表示，如图5所示。该网络将高维数据嵌入到低维潜空间中，再从潜空间解码回原始高维空间。当网络节点为线性且编码器和解码器被约束为彼此的转置时，自动编码器与标准的POD/PCA分解密切相关((Baldi & Hornik 1989)，也见图6)。然而，神经网络自动编码器的结构是模块化的，通过对节点使用非线性激活单元，可以开发非线性嵌入，从而提供更紧凑的坐标。这一观测结果导致了深度神经网络最早的应用之一的发展，该应用利用壁面压力和剪切来重建湍流通道流中的近壁面速度场(Milano & Koumoutsakos, 2002)。今天在ML社区中有更强大的自动编码器，这个链接值得进一步探索。

在万能逼近定理(Hornik et al. 1989)的基础上，指出一个足够大的神经网络可以表示任意复杂的输入-输出函数，深度神经网络被越来越多地用于为复杂流动获得更有效的非线性坐标。然而，深度学习通常意味着大量训练数据的可用性，远远超过网络的参数。得到的模型通常适合插值，但当新的输入数据的概率分布与训练数据不同时，可能不适合外推(见公式(1))。在许多现代机器学习应用，如图像分类，训练数据是如此之大，以至于很自然地可以预期，大多数未来的分类任务将落在训练数据的插值范围内。例如，2012年的ImageNet数据集(Krizhevsky et al. 2012)包含超过1500万张标签图像，这引发了当前深度学习的运动(LeCun et al. 2015)。尽管从实验和模拟中获得了大量的数据，但流体力学社区仍然与这种工作模式保持着距离。然而，在未来的几年里，我们可能会管理大型、标记和完整的流体数据库，以促进此类深度学习算法的部署。

现代机器学习应用，如图像分类，训练数据是如此之大，以至于很自然地可以预期，大多数未来的分类任务将落在训练数据的插值内插。例如，2012年的ImageNet数据集(Krizhevsky et al. 2012)包含超过1500万张标签图像，这引发了当前深度学习的运动(LeCun et al. 2015)。尽管从实验和模拟中获得了大量的数据，但流体力学社区仍然与这种工作模式保持着距离。然而，在未来的几年里，我们可能会管理大型、标记和完整的流动数据库，以促进此类深度学习算法的部署。

1.2。聚类和分类。

聚类和分类是机器学习的基石。有几十种成熟的算法可供选择，这取决于数据的大小和想要的类别数量。Kaiser等人(2014)成功地使用k-means算法开发了流体混合层的高维相空间的数据驱动离散化。这种低维表示(就少量集群而言)使可处理的马尔可夫转换模型能够用于流体如何随时间从一种状态演变到另一种状态。由于聚类质心存在于数据空间中，因此可以将每个聚类质心与物理流场关联起来，从而提供了额外的可解释性。Amsallem等(2012)利用k-means聚类方法将相空间划分为不同的区域，在区域中构建局部降阶基，提高了对参数变化的稳定性和鲁棒性。

在流体动力学中，分类也被广泛用于区分各种典型行为和动态体系。分类是一种有监督的学习方法，使用有标签的数据来开发一个模型，将新数据分类到几个类别中的一个。最近，Colvert等人(2018)利用神经网络进行局部涡度测量，研究了俯仰翼型后尾流拓扑(如2S, 2P+2S, 2P+4S)的分类;扩展已经比较了各种类型传感器的性能(Alsalman等人，2018年)。在Wang和Hemati(2017)中，使用k近邻(KNN)算法检测外来尾迹。类似地，神经网络已与动力系统模型相结合，以检测流量扰动并估计其参数(Hou等人，2019年)。Nair和Taira(2015)在流体中的相关图形和网络方法已被用于尾流中的群体检测(Meena等人，2018年)。最后，最早的一个Bright等人(2013)在流体动力学中使用了基于稀疏表示的机器学习分类实例(Wright等人2009年)。

1.3。稀疏和随机方法。

与机器学习并行的是，稀疏优化和随机线性代数也取得了长足的进步。机器学习和稀疏算法是协同的，因为底层的低维表示有助于稀疏测量(Manohar等人2018年)和快速随机计算(Halko等人2011年)。当需要快速决策时，如在控制中，减少训练和执行模型的数据量是很重要的。在这种背景下，高效采集和重构稀疏信号的算法，如压缩感知Donoho(2006)，已经被用于壁面湍流的紧凑表示(Bourguignon等人，2014)和基于POD的流动重建(Bai等人，2014)。

数据中的低维结构也通过随机线性代数大大加速了计算(Mahoney 2011;Halko等人，2011)。如果一个矩阵具有低秩结构，那么存在基于随机抽样的极其高效的矩阵分解算法;这与稀疏性的概念和稀疏向量的高维几何密切相关。其基本思想是，如果一个大矩阵具有低维结构，那么将列或行投影到随机的低维子空间后，该结构很有可能被保留下来，便于后续的高效计算。这些所谓的随机数值方法有潜力转换计算线性代数，提供精确的矩阵分解，而成本是确定性方法的一小部分。例如，随机线性代数可以用来高效地计算奇异值分解，而奇异值分解用于计算PCA (Rokhlin et al. 2009;Halko等人，2011)。

1.4。超分辨率和流量净化。

许多机器学习专注于成像科学，提供稳健的方法来提高分辨率，并基于统计推断去除噪声和腐败。这些超分辨率和去噪算法有可能提高流体模拟和实验的质量。

超分辨率涉及到从低分辨率测量中推断出高分辨率图像，利用高分辨率训练数据的统计结构。已经开发出了几种超分辨率的方法，例如基于实例库(Freeman等人，2002年)、库中的稀疏表示(Yang等人，2010年)，以及最近的卷积神经网络(Dong等人，2014年)。基于粒子图像测速(PIV)的流场实验测量(Willert & Gharib 1991;Adrian 1991)提供了一个引人注目的应用，在局部流动分辨率和成像域大小之间存在张力。超分辨率可以在更小的域上利用昂贵和高分辨率的数据来提高更大的成像域上的分辨率。大涡模拟(LES) (Germano et al. 1991;Meneveau & Katz 2000)也可能受益于超分辨率，从而推断出计算边界条件所需的低分辨率单元内的高分辨率结构。最近Fukami等人(2018)开发了一种基于CNN的超分辨率算法，并证明了其在湍流重构中的有效性，表明能谱得到了准确的保存。超分辨率的一个缺点是它通常在计算上非常昂贵，这使得它在高分辨率成像可能非常昂贵的应用中非常有用;然而，改进的基于神经网络的方法可能会显著降低成本。我们还注意到，Xie等人(2018)最近使用了GANs来实现超分辨率。

实验PIV和粒子跟踪的处理也是机器学习的首批应用之一。神经网络已被用于快速PIV (Knaak et al. 1997)和粒子跟踪测速(Labont´e 1999)，并对三维拉格朗日粒子跟踪进行了令人印象深刻的演示(Ouellette et al. 2006)。最近，深度卷积神经网络已被用于从PIV图像对构建速度场(Lee et al. 2017)。相关的方法也被用于检测PIV数据中的伪向量(Liang et al. 2003)，以去除离群值并填充损坏的像素。

2。流动动力学建模

建模的中心目标是平衡效率和准确性。在建模物理系统时，可解释性和通用性也是关键考虑因素。

2.1之上。非线性嵌入的线性模型:DMD和Koopman分析。

许多经典的系统识别技术可以被认为是机器学习，因为它们是数据驱动的模型，超越了训练数据。动态模式分解(DMD) (Schmid 2010;Kutz et al. 2016)是一种现代方法，从流体流动的时间序列数据中提取时空相干结构，从而得到这些主导相干结构演化的低维线性模型。DMD基于数据驱动回归，对时间分辨的实验数据和数值数据同样有效。DMD与Koopman算子密切相关(Rowley et al. 2009;Mezic 2013)，它是一个无限维线性算子，描述了系统的所有测量功能如何随时间演化。因为DMD算法是基于线性流场测量(即DMD)的。例如，直接（测量流体速度或涡度场)，所得到的模型可能无法捕捉非线性瞬态。

最近，人们一致致力于识别随时间线性发展的非线性测量，建立一个非线性动力学呈现线性的坐标系统。扩展DMD (Williams et al. 2015)和构象动力学(VAC)的变分方法(No´e & Nuske 2013;N¨uske等人，2016)利用非线性度量，利用核方法(Williams等人，2015年)和字典学习(Li等人，2017年)来丰富模型。这些特殊的非线性测量通常难以表示，深度学习架构现在被用于识别动态呈现线性的非线性Koopman坐标系统(Wehmeyer & No´e 2018;Mardt等人2018年;Takeishi等人2017年;Lusch et al. 2018)。VAMPnet架构(Wehmeyer & No´e 2018;Mardt等人，2018年)在一个令人印象深刻的蛋白质折叠例子中，使用时滞自动编码器和自定义变分来识别Koopman坐标。基于VAMPnet的性能，流体动力学可以受益于邻近的领域，如分子动力学，它们具有类似的建模问题，包括随机性、粗粒度动力学和时间尺度的大规模分离。

2.2。神经网络建模。

在过去的三十年里，神经网络已经被用来模拟动力系统和流体力学问题。早期的例子包括使用神经网络来学习常微分方程和偏微分方程的解(Dissanayake & Phan-Thien, 1994;Gonzalez-Garcia等人1998年;Lagaris等，1998年)。我们注意到，这项工作的潜力尚未得到充分探索，近年来有了进一步的进展(Chen et al. 2018;Raissi & Karniadakis 2018)，包括时间网络中的离散和连续。我们也注意到使用这些方法来发现的可能性潜在变量和减少参数研究的数量往往与偏微分方程Raissi等人(2019)。神经网络也经常应用于非线性系统识别技术，如常用于流体系统建模的NARMAX (Glaz et al. 2010)。在流体力学中，神经网络被广泛用于模拟传热(Jambunathan et al. 1996)、叶轮机械(Pierret & Van den Braembussche 1998)、湍流(Milano & Koumoutsakos 2002)和航空学中的其他问题(Faller & Schreck 1996)。

带有lstm的循环神经网络(Hochreiter & Schmidhuber, 1997)在语音识别方面具有革命性意义，被认为是人工智能的里程碑式成功之一。目前正用于动力学系统建模和极端事件的数据驱动预测(Wan等人，2018年;Vlachas等人，2018)。这些研究中一个有趣的发现是，将数据驱动模型和降阶模型结合起来是一种有效的方法，在许多研究中，这种方法的性能优于它的每个组成部分。生成式对抗网络(GANs) (Goodfellow等人，2014年)也被用于从数据推断动力学系统(Wu等人，2018年)。GANs在湍流建模和模拟方面具有潜力(Kim et al. 2018)，尽管这一领域尚处于起步阶段，但非常值得探索。

尽管神经网络在动力系统中的前景和广泛应用，仍然存在许多挑战。神经网络基本上是插值的，因此函数只能在用于训练神经网络的采样数据的范围内(或在概率分布下)很好地逼近。因此，当使用神经网络模型进行外推任务时，应该谨慎行事。在许多计算机视觉和语音识别的例子中，训练数据是如此之大，以至于几乎所有未来的任务都可以看作是对训练数据的插值。然而，到目前为止，在流体力学领域还没有达到这种规模的训练。类似地，神经网络模型容易过拟合，必须谨慎地在一个充分选择的测试集上交叉验证模型;Goodfellow等人(2016)讨论了最佳实践。最后，重要的是要明确地包含物理性质，如对称性、约束条件和守恒量。

2.3。简约的非线性模型。

简约是数学物理学中一个反复出现的主题，从哈密尔顿最小作用原理到许多控制方程的明显简单。与神经网络的原始表征能力相比，机器学习算法还被用于识别最小模型，以平衡预测精度和模型复杂性，防止过拟合，并提高可解释性和泛化性。遗传编程已被用于发现守恒定律和控制方程(Schmidt & Lipson 2009)。候选模型库中的稀疏回归也被提出来识别动力系统(Brunton et al. 2016)和偏微分方程(Rudy et al. 2017;Schaeffer 2017)。Loiseau和Brunton(2018)确定了几个流动系统的稀疏降阶模型，将节能作为约束条件。在遗传编程和稀疏识别中，Pareto分析被用于识别在模型复杂性、术语数量和预测精度之间具有最佳权衡的模型。在物理已知的情况下，这种方法通常可以发现正确的控制方程，与机器学习中的其他领先算法相比，具有非凡的通用性。

2.4。带有机器学习的闭包模型。

使用机器学习开发湍流闭合是一个活跃的研究领域(Duraisamy等人，2019年)。湍流中时空尺度的极大范围使得在模拟中解析所有尺度非常昂贵，即使有摩尔定律，我们可能还需要几十年才能解决工业利益配置中的所有尺度问题(例如，飞机涡轮机、潜艇等)。通常截断小尺度，用闭合模型来模拟它们对大尺度的影响。常用的方法有雷诺平均Navier - Stokes (RANS)和大涡模拟(LES)。然而，这些模型可能需要仔细调整以匹配完全解决的模拟或实验。

图7：用于识别伽利略不变雷诺应力模型的标准神经网络结构(A)和改进的神经网络(B)的比较，转载自Ling等人。(2016b)，获得《流体力学杂志》的许可。符号：λ1、···、λ5：五个张量不变量T(N)：各向同性基张量g(N)：加权基张量的标量系数b：各向异性张量

机器学习已被用于识别和模拟RANS模型和高保真模拟之间的雷诺应力张量差异(Ling & Templeton, 2015;Parish & Duraisamy 2016;Ling et al. 2016b;Xiao et al. 2016;辛格等人2017年;Wang et al. 2017)。Ling和Templeton(2015)比较了支持向量机、Adaboost决策树和随机森林来分类和预测Reynolds应力张量的高不确定性区域。Wang et al.(2017)使用随机森林建立了雷诺应力张量差异的监督模型。Xiao等人(2016)利用贝叶斯框架中的稀疏在线速度测量来推断这些差异。在相关工作中，Parish & Duraisamy(2016)开发了现场反演和机器学习建模框架，该框架基于逆建模建立校正模型。Singh等人(2017)后来使用该框架开发了一种对Spalart-Allmaras RANS模型的神经网络增强校正，具有出色的性能。Ling等人(2016b)的一个关键结果采用了第一个具有许多隐藏层的深层网络结构来建模各向异性雷诺应力张量，如图7所示。他们的新架构包含了一个乘法层，将伽利略不变性嵌入到张量预测中。这提供了一种创新和简单的方法，将已知的物理对称性和不变性嵌入到学习架构中(Ling et al. 2016a)，我们相信这将在未来结合物理学习的努力中至关重要。对于大涡模拟闭包，Maulik等人(2019)利用人工神经网络从粗解量预测湍流源项。

2.5。机器学习对动力系统的挑战。

将机器学习应用于物理动力学系统建模提出了许多独特的挑战和机遇。模型的可解释性和通用性是物理学的基本基石。一个精心设计的模型将为以前没有观察到的新现象提供假设。这一原理在牛顿第二定律中经典力学的简洁表述中清楚地表现出来。

高维系统，如在非定常流动力学中遇到的那些，面临着多尺度动力学、对噪声和扰动的敏感性、潜在变量和瞬态的挑战，所有这些都需要在应用机器学习技术时谨慎注意。在动态机器学习中，我们区分两个任务:发现未知物理和结合已知物理改进模型。许多学习架构，不能很容易地将物理约束以对称的形式，边界条件，和全局守恒定律。这是一个持续发展的关键领域，最近的一些工作已经提出了可推广的物理模型(Battaglia等人，2018年)。