天气、气候、航空湍流、洋流,这些复杂混沌过程的建模近几年进步很大。但模型跑久了,预测会漂到物理上根本不可能出现的地方去。
![]()
MIT信息与决策系统实验室(LIDS)的研究团队找到了一种办法:给机器学习模型加上基于物理的限制,让它在任意长的预测窗口里都不会越过现实世界的边界。相关成果发表在《美国国家科学院院刊》(PNAS)上,作者是MIT研究生Sunbochen Tang与MIT教授Navid Azizan、Themistoklis Sapsis。
Sapsis是机械工程教授、LIDS成员。他说,缺乏有界响应的保证,一直是构建复杂非线性系统数据驱动模型的主要障碍。团队的方法为把最先进的机器学习架构用于预测和控制铺了路,即便面对本身就不稳定的问题。
混沌不等于什么都能发生
Azizan是机械工程系与数据、系统和社会研究所的Hayes副教授,也是LIDS的首席研究员。他的说法很直接:初始条件的微小差异会导致混沌系统出现截然不同的结果,这让长期预测极其困难。但现实世界里的变化始终受物理约束。
“混沌并不意味着什么都能发生。这些系统往往保持有界,它们的模型也应该如此。”问题在于怎么把边界塞进模型里。
他的描述是:模型可以在短期内贴合数据,一旦长时间运行就会失效。小误差不断累积,直到仿真产生无限增长的值,而这些预测在真实系统里根本不可能出现。这是许多现有机器学习模型的根本问题。
“我们要保留混沌,但不要真实系统里不存在的人为失控行为。”他说,团队的方法给模型留出学习复杂动力学的空间,同时保证轨迹有界。这是首个为混沌的机器学习模型建立此类形式化保证的工作。
硬约束与软约束的区别
Tang是航空航天系与LIDS的博士生。他解释,此前防止模型给出不现实结果的做法,多是在训练阶段施加惩罚或激励,所用函数往往依赖关于系统的特权信息。但这些只在训练时起作用,模型实际使用、面对新输入时,没有保证它会满足这些激励所指向的约束,仍可能输出无界预测。
直接设上限也不行。Tang举例:可以给物理量设一个任意上限,比如温度100度,这确实能让预测有界,但会限制模型去表达那些本应直接从数据中学到的复杂特征。
团队的做法是构造基于能量的约束。模型学习一个类似能量的函数,以及一个混沌行为应被限制在其中的边界。然后加一个投影层,调整模型对系统演化的预测,把能量耗散作为硬约束强制执行。在边界之外,这个类似能量的量必须下降,模拟系统因此被拉回有界区域。这样就能从理论上保证模型预测在任意长的预测窗口内保持有界。
Azizan把根本差异概括为硬约束与软约束。现有方法大多试图激励模型满足约束,但不把它们当作硬约束。团队基于硬约束神经网络的概念,输出始终物理一致,哪怕是模型没见过的新情况。
他还提到一个现实:AI模型在数据量大的场景里表现出色,图像和文本就是例子。但很多物理系统数据并不充裕。数据有限时,物理约束方法能帮上大忙,因为问题的物理本身是另一个信息来源。
测试覆盖了从教科书级简单案例到高维复杂系统的多种知名物理系统。团队的方法与真实结果高度吻合,常规方法则很快偏离到不可能的预测上。
投影层是模块化的,与模型无关,可以搭配不同的神经网络架构。Tang说,这套方法适用于广泛的神经网络架构,团队计划在越来越大的系统上继续测试,正在看它在真实天气系统的数据驱动模型上表现如何。
论文和开源代码已在PNAS上线。团队今年的后续工作已在学习与动力学控制会议上发表,并获得该会议最佳论文奖。
Azizan的收尾话值得记一笔:可信可靠的AI,不能只靠“模型通常有效”的证据。高风险应用需要关于必须始终成立的性质的保证。这项工作建立的一个保证是有界性。更广的目标,是让原则成为AI模型构建方式的一部分,而不只是测试方式的一部分。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.