KAN核心团队震撼力作！MIT华人用AI首次发现物理学全新方程

新智元报道

编辑：Aeneas 好困

【新智元导读】刚刚提出了KAN的MIT物理学家Max Tegmark和北大校友刘子鸣，又有一项重磅研究问世了！团队发现，它们用AI发现了物理学中的新方程，从此，AI很可能被引入物理学研究领域，帮助人类物理学家做出全新的发现。

就在刚刚，MIT物理学家用AI发现了物理学中的新方程。

论文地址：https://arxiv.org/abs/2405.04484

作者表示：这篇论文并没有解决价值数百万美元的核聚变问题，而是在更简单的设置中，引入一个有前途的概念验证。

偏微分方程（PDE），可以说是物理学家的面包和黄油，但它们非常罕见，人类科学家很难只用纸笔就能发现。

为此，研究者们推出了一个名为OptPDE的AI系统。

使用这个AI，就可以发现新的、从未见过的可积偏微分方程！

具体来说，使用了5000个随机初始化的PDE系数值运行OptPDE后，研究者发现了4个可积偏微分方程，其中是一个是已知的，而另外三个是全新的方程。

利用这种首创的机器学习方法，MIT的科学家们为物理学提供了一种全新的研究模式。

从此，可以由人类向系统提供领域知识，AI产生希望的假设，然后再由人类进行解释和验证。

这就实现了整个物理学发现的闭环。

网友：AI将颠覆各个科学领域

对于这项研究，网友们纷纷表示震撼。

「太烧脑了！如果我正确理解了他们的意思，那这个AI实在是强大到可怕！能够按需生成模型库来模拟物理系统，是非常巧妙的技巧，让我们可以从AI驱动的解决中，节省大量计算。」

「即便只在这些层面上，我们拥有的AI也能为各种科学领域提供新的见解和想法，它们会变得更好！」

「我只是点开看看是不是Max Tegmark大牛的研究，果然如此。」

这位网友则给出了更为专业的解释——

从本质上讲，他们是对偏微分方程应用了奖励函数，因为偏微分方程具有较多的CQs，并且自然系统遵循定律（例如热力学）。 由于发现这些偏微分方程往往非常困难，因此这项工作很有意义，因为它提供了一条将加速计算的计算杠杆应用于任务的途径。 这为生成类似OEIS（整数序列在线百科全书）的资源提供了机会。这就允许来自任何领域的研究搜索这些数据库，看看以前是否已经解决了类似的问题，或者相关的序列或结构是否已经存在，而不需要从头开始。

快速「入门」

当PDE具有守恒量时，它们是可积的（例如，能量是质量弹簧的一个守恒量）。

因此，研究者将OptPDE设计为一个两部分的系统，它可以——

（1）计算任何PDE的守恒量（CQ）数量；

（2）找出使n_CQ最大化的偏微分方程。

下面是（1）在一些熟悉的系统中的实际应用。

因为研究者寻找n_CQ的方法是可微分的，因此要发现新的可积偏微分方程，只需使PDE中的项系数可训练，并通过SGD最大化n_CQ即可。

他们以从u_x => u_xxx^3的项为基础，运行了5000次。

下面是解决方案的3D PCA——

研究者发现，他们得到大多数解，都是4个偏微分方程家族的线性组合，其中一个是KdV方程的一种形式，还有3个方程完全是新增的，在文献中并没有记载！

由此，研究者确认，这些新出现的可积偏微分方程中，至少具有一个守恒量。

也就是，在AI的帮助下，人类科学家发现了一些全新的可积偏微分方程！

不过，如果想解释和分析这些发现，还是要靠人类科学家。

研究者仔细分析了以下红色偏微分方程的简化版本（u_t=u_x^3），发现它表现出断裂、无限的CQ，而幂律衰减为了三角波。

从此，物理学家非常有希望使用OptPDE，来发现更多新颖的可积偏微分方程，来模拟物理学中的复杂现象。

不过，OptPDE要求AI和人类科学家协同工作，作者呼吁：如果这种范式能被物理学界接受，物理学家很可能用现代AI工具做出以前更多新发现。

可积系统：极其罕见，难以发现

可积系统在物理学和工程系中发挥着重要作用，因为易于处理、可预测、可控。

然而，它们极其罕见，难以发现。

传统中发现可积系统的方法是靠纸笔，它侧重于符号推到，还需要考虑到可能系统和守恒量（CQ）的指数级大搜索空间，效率极低。

由此，MIT的物理学家想到：AI可以做什么吗？

为此，他们引入了一个可积系统发现解决方案OptPDE。

此前，已经有许多工作使用极其学习从物理数据和微分方程中发现守恒量，但MIT研究者的方法，对于偏微分方程来说是最可解释的。

更重要的是，此前的方法并不能主动优化和设计偏微分方程。

然而，这个AI可以做到！

虽然过去机器学习方法已经被用来发现守恒量，但这项工作第一次提出——

通过验证和解释可集成系统，AI和人类科学家可以协同工作。

论文方法

研究者是通过以下阶段构建这个方法的。

1.CQFinder——查找PDE的守恒量。

2.OptPDE——使用CQFinder中的 ，来发现可积PDE。

图1说明了整个流程。不过需要注意的是，这个流程需要人类科学家通过输入CQ和PDE基础，和AI协同工作，这就需要对该领域知识的掌握。

OptPDE的可视化管线。给定PDE的项基础，OptPDE就会优化系数，从而最大化PDE的守恒量(CQ) 数量。起初，u会衰减并且不守恒，但OptPDE会通过将扩散项归零，来发现使u更加守恒的系数。这个可视化示例很简单，但鉴于广泛的PDE基础，OptPDE可以帮助人类科学家发现新颖的可积系统

为了构建OptPDE，必须首先设计CQFinder，来准确计算任何PDE的CQ。

具体来说，需要一个具有空间变量x的时间一阶偏微分方程，其形式为 。

其中， 是u及其空间导数的集合，且具有自由边界条件 。

研究者需要考虑形式为 的守恒量。

对于一个CQ量，它必须在u的整个时间演化过程中保持恒定。

可以将CQ的时间不变性表示为：

其中， 。

虽然这个方程看起来很复杂，但只要考虑一个简单的设定就可以了，其中h(u′) 是k个预定义基函数的线性组合，即 。

在这里，研究者需要处理两个无穷大。

1. 理论上，线性方程对于任何光滑的u都必须成立；在实践中，就可以测试方程是否可以近似这个无限的函数集。

2. 理论上积分是在(-∞,∞)上进行的；在实践中，就需要用有限范围来近似它(在范围之外将u强制为零)。

研究者希望，在CQFinder中创建子流程，从而进行稀疏化和识别简单解决方案，因为它们更容易被人类科学家解释。

具体来说，研究者需要将PDE参数化为预定义PDE的线性组合， 。

CQFinder采用固定的PDE，并输出其守恒量的数量。

由于CQFinder是用PyTorch编写的，因此它原则上是可微分的，因此，研究者就可以通过自动微分，来识别PDE系数中的哪些扰动会增加CQ。

然而，可微性的最大挑战是守恒量本质上是离散的（比如，偏微分方程可以具有3或4个守恒量，而非3.7个）。

为了反向传播优化系数 ， 目标函数 就必须是可微的。

为了解决这个问题，研究者使用sigmoid函数引入了 的平滑版本。

论文结果

CQFinder基准测试

为了验证CQFinder是否如大家设想的那样可以工作，研究者在Burgers、Korteweg-DeVries(Kd)和薛定谔方程三个测试系统上运行了它。

图2显示，奇异值曲线显示出从小到大的急剧相变，从而可以清楚地区分消失值和非消失值。

这就证明了，CQFinder不仅可以正确计算守恒量的数量，而且还可以获得它们的符号公式。

AI发现了三种新颖的可积系统

研究者发现，通过使用Opt-PDE最大化守恒量，来定位OptPDE的流形，就可以发现全新的可积系统。

一般选择PDE为单个方程 ，其中 ，p是最多3次的多项式。

在实践中，研究者对系数使用广义球坐标，自然地强制归一化。

在OptPDE中，研究者使用A=0，B=1000，epochs=25000，学习率为10^-3，余弦退火，Tmax=5000。

研究者运行OptPDE，为其余33个参数随机选择5000个初始化位置。

然后，研究者使用3D PCA可视化返回的参数值，来分析OptPDE的结果，如图3所示。

可以看到，解的流形结构非常有趣：两侧有两个极点，环状的解位于中间。

两个极点代表 ，它是可积KdV方程的简化形式，而环状的解就更为复杂了。

在这些环状的解中，研究者进行了插值。

然后，他们找到了作为环状子空间基础的三个偏微分方程组，如图3所示。

守恒量可以显示出，这三个偏微分方程中的每一个都是新的，且本质上都是有趣的。（如附录I所示）

研究者将重点放在了下面这个偏微分方程上，因为它的形式很紧凑——

研究者在该方程的a=1情况下，运行了CQFinder，发现它有一个非平凡的CQ—— 经过一系列冗长的代数操作，研究者从数值和符号上验证了， 确实是 的CQ。

到这里，研究者可以确信：OptPDE发现了一个新的偏微分方程家族，它们承认有趣的守恒量—— 。

人类责任：对AI的发现进行解释

而到这里，MIT的研究者们表示，接下来人类就要扛起责任了！

人类科学家需要做的，就是采用AI发现的偏微分方程家族，并对其进行解释。

在论文中，研究者仅限于分析a≪1的情况，使得

这种特殊情况代表了一个真正的可积系统，并且具有无限数量的CQ。也即 对于所有n都是守恒的。

在Mathematica中，研究者绘制了具有高斯和正弦初始条件的偏微分方程的演化，如下图所示。

从视觉上看，演化似乎是一种波，在break time后就退化为了一种线性分量，此时，波在某一点就变得不可微分。

研究者推导了break time的符号形式，并为方程式在break time后的行为，创建了一个现象学模型。

Break Time

研究者注意到，通过对x的两边进行积分，可以使公式4类似于Burgers公式。

利用特征方程，就可以追踪出恒定u的路径，并找到两个特征相交的最早时间。

最终可以得出，Break Time为 ，这与研究者在附录L中的模拟结果大致吻合。

现象学模型

为了理解波break后的行为，研究者希望建立一个现象学模型，来解释波接近三角波时的动态。

对此，研究者进行了以下推导。

其中一个特殊情况就是a=1，当曲线沿高度均匀收缩时，就得到了 ，这就和正弦波的情况相吻合。

对其他解的物理理解

从图3可以看出，研究者所得到的解是高阶和非线性的，其立方项由三阶导数组成。

要运用物理学的直觉来处理这些问题，可能会令人生畏，但研究者注意到，三阶导数出现了在 KdV方程中，或者说，如果推导出具有稳定度和其他阻力的弦的波动方程，也会出现三阶导数。

非线性多项式方程在物理学中并不多见，但确实存在，比如高速运动时的空气阻力公式 。

因此，复杂微分方程在物理现象建模中，是非常有用的。

至于其他结果，研究者表示，希望其他科学家也参与进来共同解释它们。

总之，通过MIT研究者引入的这种人类科学家和AI协作的范式，很可能激励人类物理学家为物理学做出新的发现！

作者介绍

Subhash Kantamneni

Subhash Kantamneni目前在MIT攻读物理和计算机科学本科。

他在研究实验室、高科技创业公司以及对冲基金等多样化的工作环境中积累了丰富经验。

Ziming Liu（刘子鸣）

Ziming Liu目前是MIT和IAIFI的三年级博士生，由Max Tegmark教授指导。

他的研究兴趣主要集中在AI与物理学（以及其他科学领域）的交叉区域：

1. Physics of AI：从物理学原理来理解AI，目标是让「AI像物理学一样简单」；

2. Physics for AI：受物理学启发的AI，目标是让「AI像物理学一样自然」；

3. AI for physics：利用AI增强物理学研究，目标是让「让AI像物理学家一样强大」。

为了实现利用AI和物理学共建更美好世界的最终目标，Ziming Liu对包括发现物理定律、受物理启发的生成模型、机器学习理论、机械解释性等在内的多个主题都有深厚的兴趣。

并且，与凝聚态、高能物理、量子计算等领域的物理学家以及计算机科学家、生物学家、神经科学家和气候科学家等建立了紧密合作关系。

他多次在顶尖的物理期刊和AI会议上发表论文，并担任IEEE、Physical Review、NeurIPS、ICLR等的审稿人。同时，还共同组织了NeurIPS 2021和ICML 2022的AI4Science workshop。

在攻读博士学位之前，他在北京大学获得了物理学学士学位，并曾在微软亚洲研究院实习。

Max Tegmark

Max Tegmark被大家亲切地称为「疯狂的麦克斯」（Mad Max）。

凭借着自己创新的思维和对冒险的热情，他的科研兴趣涵盖从精确宇宙学到探索现实的终极本质。

比如，结合理论与新的测量技术，精确限定宇宙学模型及其参数。在他作为物理学研究者的前25年里，这种研究方向使他主要关注宇宙学和量子信息学。

虽然他仍与HERA合作研究宇宙学，但目前他的主要研究方向是智能的物理学，即运用物理方法深入探索生物智能和AI。

作为麻省理工学院的物理学教授，他发表了超过两百篇技术论文，并多次在科学纪录片中出现。他在SDSS项目中关于星系聚类的研究，赢得了《科学》杂志「2003年度突破」的第一名。

在此之前，Tegmark于1989年在斯德哥尔摩经济学院获得了经济学学士学位，1990年在皇家理工学院获得物理学学士学位。

毕业后，他便前往加州大学伯克利分校继续深造，先后获得物理学硕士和博士学位。

在美国西海岸生活四年后，他回到了欧洲，出任马克斯·普朗克物理研究所的助理研究员。

1996年，他作为Hubble Fellow以及普林斯顿高级研究院的研究员，再次来到美国。

几年后，他获得宾夕法尼亚大学的助理教授职位，并于2003年获得终身教职。

2004年，他来到MIT并定居在查尔斯河畔的剑桥。

他与妻子Meia-Chita Tegmark育有两个儿子，Philip和Alexander。

参考资料：

https://arxiv.org/abs/2405.04484

https://kindxiaoming.github.io/