新智元报道

　　编辑：Aeneas 好困

　　刚刚提出了 KAN 的 MIT 物理学家 Max Tegmark 和北大校友刘子鸣，又有一项重磅研究问世了！团队发现，它们用 AI 发现了物理学中的新方程，从此，AI 很可能被引入物理学研究领域，帮助人类物理学家做出全新的发现。

　　就在刚刚，MIT 物理学家用 AI 发现了物理学中的新方程。

　　论文地址：https://arxiv.org/abs/2405.04484

　　作者表示：这篇论文并没有解决价值数百万美元的核聚变问题，而是在更简单的设置中，引入一个有前途的概念验证。

　　偏微分方程（PDE），可以说是物理学家的面包和黄油，但它们非常罕见，人类科学家很难只用纸笔就能发现。

　　为此，研究者们推出了一个名为 OptPDE 的 AI 系统。

　　使用这个 AI，就可以发现新的、从未见过的可积偏微分方程！

　　具体来说，使用了 5000 个随机初始化的 PDE 系数值运行 OptPDE 后，研究者发现了 4 个可积偏微分方程，其中是一个是已知的，而另外三个是全新的方程。

　　利用这种首创的机器学习方法，MIT 的科学家们为物理学提供了一种全新的研究模式。

　　从此，可以由人类向系统提供领域知识，AI 产生希望的假设，然后再由人类进行解释和验证。

　　这就实现了整个物理学发现的闭环。

　　网友：AI 将颠覆各个科学领域

　　对于这项研究，网友们纷纷表示震撼。

　　「太烧脑了！如果我正确理解了他们的意思，那这个 AI 实在是强大到可怕！能够按需生成模型库来模拟物理系统，是非常巧妙的技巧，让我们可以从 AI 驱动的解决中，节省大量计算。」

　　「即便只在这些层面上，我们拥有的 AI 也能为各种科学领域提供新的见解和想法，它们会变得更好！」

　　「我只是点开看看是不是 Max Tegmark 大牛的研究，果然如此。」

　　这位网友则给出了更为专业的解释——

从本质上讲，他们是对偏微分方程应用了奖励函数，因为偏微分方程具有较多的 CQs，并且自然系统遵循定律（例如热力学）。 由于发现这些偏微分方程往往非常困难，因此这项工作很有意义，因为它提供了一条将加速计算的计算杠杆应用于任务的途径。 这为生成类似 OEIS（整数序列在线百科全书）的资源提供了机会。这就允许来自任何领域的研究搜索这些数据库，看看以前是否已经解决了类似的问题，或者相关的序列或结构是否已经存在，而不需要从头开始。

　　快速「入门」

　　当 PDE 具有守恒量时，它们是可积的（例如，能量是质量弹簧的一个守恒量）。

　　因此，研究者将 OptPDE 设计为一个两部分的系统，它可以——

　　（1）计算任何 PDE 的守恒量（CQ）数量；

　　（2）找出使n_CQ 最大化的偏微分方程。

　　下面是（1）在一些熟悉的系统中的实际应用。

　　因为研究者寻找n_CQ 的方法是可微分的，因此要发现新的可积偏微分方程，只需使 PDE 中的项系数可训练，并通过 SGD 最大化n_CQ 即可。

　　他们以从u_x => u_xxx^3 的项为基础，运行了 5000 次。

　　下面是解决方案的 3D PCA——

　　研究者发现，他们得到大多数解，都是 4 个偏微分方程家族的线性组合，其中一个是 KdV 方程的一种形式，还有 3 个方程完全是新增的，在文献中并没有记载！

　　由此，研究者确认，这些新出现的可积偏微分方程中，至少具有一个守恒量。

　　也就是，在 AI 的帮助下，人类科学家发现了一些全新的可积偏微分方程！

　　不过，如果想解释和分析这些发现，还是要靠人类科学家。

　　研究者仔细分析了以下红色偏微分方程的简化版本（u_t=u_x^3），发现它表现出断裂、无限的 CQ，而幂律衰减为了三角波。

　　从此，物理学家非常有希望使用 OptPDE，来发现更多新颖的可积偏微分方程，来模拟物理学中的复杂现象。

　　不过，OptPDE 要求 AI 和人类科学家协同工作，作者呼吁：如果这种范式能被物理学界接受，物理学家很可能用现代 AI 工具做出以前更多新发现。

　　可积系统：极其罕见，难以发现

　　可积系统在物理学和工程系中发挥着重要作用，因为易于处理、可预测、可控。

　　然而，它们极其罕见，难以发现。

　　传统中发现可积系统的方法是靠纸笔，它侧重于符号推到，还需要考虑到可能系统和守恒量（CQ）的指数级大搜索空间，效率极低。

　　由此，MIT 的物理学家想到：AI 可以做什么吗？

　　为此，他们引入了一个可积系统发现解决方案 OptPDE。

　　此前，已经有许多工作使用极其学习从物理数据和微分方程中发现守恒量，但 MIT 研究者的方法，对于偏微分方程来说是最可解释的。

　　更重要的是，此前的方法并不能主动优化和设计偏微分方程。

　　然而，这个 AI 可以做到！

　　虽然过去机器学习方法已经被用来发现守恒量，但这项工作第一次提出——

　　通过验证和解释可集成系统，AI 和人类科学家可以协同工作。

　　论文方法

　　研究者是通过以下阶段构建这个方法的。

　　1. CQFinder——查找 PDE 的守恒量。

　　2. OptPDE——使用 CQFinder 中的 ，来发现可积 PDE。

　　图 1 说明了整个流程。不过需要注意的是，这个流程需要人类科学家通过输入 CQ 和 PDE 基础，和 AI 协同工作，这就需要对该领域知识的掌握。

　　OptPDE 的可视化管线。给定 PDE 的项基础，OptPDE 就会优化系数，从而最大化 PDE 的守恒量(CQ) 数量。起初，u会衰减并且不守恒，但 OptPDE 会通过将扩散项归零，来发现使u更加守恒的系数。这个可视化示例很简单，但鉴于广泛的 PDE 基础，OptPDE 可以帮助人类科学家发现新颖的可积系统

　　为了构建 OptPDE，必须首先设计 CQFinder，来准确计算任何 PDE 的 CQ。具体来说，需要一个具有空间变量x的时间一阶偏微分方程，其形式为

　　其中，

是u及其空间导数的集合，且具有自由边界条件

　　研究者需要考虑形式为

　　的守恒量。

　　对于一个 CQ 量，它必须在u的整个时间演化过程中保持恒定。

　　可以将 CQ 的时间不变性表示为：

　　其中，

 

　　虽然这个方程看起来很复杂，但只要考虑一个简单的设定就可以了，其中h(u′) 是k个预定义基函数的线性组合，即

　　在这里，研究者需要处理两个无穷大。

　　1. 理论上，线性方程对于任何光滑的u都必须成立；在实践中，就可以测试方程是否可以近似这个无限的函数集。

　　2. 理论上积分是在(-∞，∞)上进行的；在实践中，就需要用有限范围来近似它(在范围之外将u强制为零)。

　　研究者希望，在 CQFinder 中创建子流程，从而进行稀疏化和识别简单解决方案，因为它们更容易被人类科学家解释。

　　具体来说，研究者需要将 PDE 参数化为预定义 PDE 的线性组合， 

　　CQFinder 采用固定的 PDE，并输出其守恒量的数量。

　　由于 CQFinder 是用 PyTorch 编写的，因此它原则上是可微分的，因此，研究者就可以通过自动微分，来识别 PDE 系数中的哪些扰动会增加 CQ。

　　然而，可微性的最大挑战是守恒量本质上是离散的（比如，偏微分方程可以具有 3 或 4 个守恒量，而非 3.7 个）。

　　为了反向传播优化系数 ， 目标函数就必须是可微的。

　　为了解决这个问题，研究者使用 sigmoid 函数引入了的平滑版本。

　　论文结果

　　CQFinder 基准测试

　　为了验证 CQFinder 是否如大家设想的那样可以工作，研究者在 Burgers、Korteweg-DeVries (Kd)和薛定谔方程三个测试系统上运行了它。

　　图 2 显示，奇异值曲线显示出从小到大的急剧相变，从而可以清楚地区分消失值和非消失值。

　　这就证明了，CQFinder 不仅可以正确计算守恒量的数量，而且还可以获得它们的符号公式。

　　AI 发现了三种新颖的可积系统

　　研究者发现，通过使用 Opt-PDE 最大化守恒量，来定位 OptPDE 的流形，就可以发现全新的可积系统。

　　一般选择 PDE 为单个方程 ，

　　其中 ，

　　p 是最多 3 次的多项式。

　　在实践中，研究者对系数使用广义球坐标，自然地强制归一化。

　　在 OptPDE 中，研究者使用A=0，B=1000，epochs=25000，学习率为 10^-3，余弦退火，Tmax=5000。

　　研究者运行 OptPDE，为其余 33 个参数随机选择 5000 个初始化位置。

　　然后，研究者使用 3D PCA 可视化返回的参数值，来分析 OptPDE 的结果，如图 3 所示。

　　可以看到，解的流形结构非常有趣：两侧有两个极点，环状的解位于中间。

　　两个极点代表，

　　它是可积 KdV 方程的简化形式，而环状的解就更为复杂了。

　　在这些环状的解中，研究者进行了插值。

　　然后，他们找到了作为环状子空间基础的三个偏微分方程组，如图 3 所示。

　　守恒量可以显示出，这三个偏微分方程中的每一个都是新的，且本质上都是有趣的。（如附录I所示）

　　研究者将重点放在了下面这个偏微分方程上，因为它的形式很紧凑——

　　研究者在该方程的a=1 情况下，运行了 CQFinder，发现它有一个非平凡的 CQ——

　　经过一系列冗长的代数操作，研究者从数值和符号上验证了，

　　确实是　　

　　的 CQ。

　　到这里，研究者可以确信：OptPDE 发现了一个新的偏微分方程家族，它们承认有趣的守恒量——

　　人类责任：对 AI 的发现进行解释

　　而到这里，MIT 的研究者们表示，接下来人类就要扛起责任了！

　　人类科学家需要做的，就是采用 AI 发现的偏微分方程家族，并对其进行解释。

　　在论文中，研究者仅限于分析a≪1 的情况，使得

　　这种特殊情况代表了一个真正的可积系统，并且具有无限数量的 CQ。也即对于所有n都是守恒的。

　　在 Mathematica 中，研究者绘制了具有高斯和正弦初始条件的偏微分方程的演化，如下图所示。

　　从视觉上看，演化似乎是一种波，在 break time 后就退化为了一种线性分量，此时，波在某一点就变得不可微分。

　　研究者推导了 break time 的符号形式，并为方程式在 break time 后的行为，创建了一个现象学模型。

　　Break Time

　　研究者注意到，通过对x的两边进行积分，可以使公式 4 类似于 Burgers 公式。

　　利用特征方程，就可以追踪出恒定u的路径，并找到两个特征相交的最早时间。

　　最终可以得出，Break Time 为

　　这与研究者在附录L中的模拟结果大致吻合。

　　现象学模型

　　为了理解波 break 后的行为，研究者希望建立一个现象学模型，来解释波接近三角波时的动态。

　　对此，研究者进行了以下推导。

　　其中一个特殊情况就是a=1，当曲线沿高度均匀收缩时，就得到了

　　这就和正弦波的情况相吻合。

　　对其他解的物理理解

　　从图 3 可以看出，研究者所得到的解是高阶和非线性的，其立方项由三阶导数组成。

　　要运用物理学的直觉来处理这些问题，可能会令人生畏，但研究者注意到，三阶导数出现了在 KdV 方程中，或者说，如果推导出具有稳定度和其他阻力的弦的波动方程，也会出现三阶导数。

　　非线性多项式方程在物理学中并不多见，但确实存在，比如高速运动时的空气阻力公式

　　因此，复杂微分方程在物理现象建模中，是非常有用的。

　　至于其他结果，研究者表示，希望其他科学家也参与进来共同解释它们。

　　总之，通过 MIT 研究者引入的这种人类科学家和 AI 协作的范式，很可能激励人类物理学家为物理学做出新的发现！

　　作者介绍

　　Subhash Kantamneni

　　Subhash Kantamneni 目前在 MIT 攻读物理和计算机科学本科。

　　他在研究实验室、高科技创业公司以及对冲基金等多样化的工作环境中积累了丰富经验。

　　Ziming Liu（刘子鸣）

　　Ziming Liu 目前是 MIT 和 IAIFI 的三年级博士生，由 Max Tegmark 教授指导。

　　他的研究兴趣主要集中在 AI 与物理学（以及其他科学领域）的交叉区域：

　　1. Physics of AI：从物理学原理来理解 AI，目标是让「AI 像物理学一样简单」；

　　2. Physics for AI：受物理学启发的 AI，目标是让「AI 像物理学一样自然」；

　　3. AI for physics：利用 AI 增强物理学研究，目标是让「让 AI 像物理学家一样强大」。

　　为了实现利用 AI 和物理学共建更美好世界的最终目标，Ziming Liu 对包括发现物理定律、受物理启发的生成模型、机器学习理论、机械解释性等在内的多个主题都有深厚的兴趣。

　　并且，与凝聚态、高能物理、量子计算等领域的物理学家以及计算机科学家、生物学家、神经科学家和气候科学家等建立了紧密合作关系。

　　他多次在顶尖的物理期刊和 AI 会议上发表论文，并担任 IEEE、Physical Review、NeurIPS、ICLR 等的审稿人。同时，还共同组织了 NeurIPS 2021 和 ICML 2022 的 AI4Science workshop。

　　在攻读博士学位之前，他在北京大学获得了物理学学士学位，并曾在微软亚洲研究院实习。

　　Max Tegmark

　　Max Tegmark 被大家亲切地称为「疯狂的麦克斯」（Mad Max）。

　　凭借着自己创新的思维和对冒险的热情，他的科研兴趣涵盖从精确宇宙学到探索现实的终极本质。

　　比如，结合理论与新的测量技术，精确限定宇宙学模型及其参数。在他作为物理学研究者的前 25 年里，这种研究方向使他主要关注宇宙学和量子信息学。

　　虽然他仍与 HERA 合作研究宇宙学，但目前他的主要研究方向是智能的物理学，即运用物理方法深入探索生物智能和 AI。

　　作为麻省理工学院的物理学教授，他发表了超过两百篇技术论文，并多次在科学纪录片中出现。他在 SDSS 项目中关于星系聚类的研究，赢得了《科学》杂志「2003 年度突破」的第一名。

　　在此之前，Tegmark 于 1989 年在斯德哥尔摩经济学院获得了经济学学士学位，1990 年在皇家理工学院获得物理学学士学位。

　　毕业后，他便前往加州大学伯克利分校继续深造，先后获得物理学硕士和博士学位。

　　在美国西海岸生活四年后，他回到了欧洲，出任马克斯·普朗克物理研究所的助理研究员。

　　1996 年，他作为 Hubble Fellow 以及普林斯顿高级研究院的研究员，再次来到美国。

　　几年后，他获得宾夕法尼亚大学的助理教授职位，并于 2003 年获得终身教职。

　　2004 年，他来到 MIT 并定居在查尔斯河畔的剑桥。

　　他与妻子 Meia-Chita Tegmark 育有两个儿子，Philip 和 Alexander。

　　参考资料：

　　https://arxiv.org/abs/2405.04484

　　Ziming Liu (刘子鸣)

java相关学习资源、电视剧等资源下载，请点击

来自: mp.weixin.qq.com