应用数学新时代的曙光——北京大数据研究院院长鄂维南院士

机器学习登上舞台

       机器学习在科学计算中的一个成功应用是处理基于神经网络的高维控制问题。Bellman方程的维度与控制问题状态空间的维度是一样的，即若要控制一个PDE，那么Bellman方程是无穷维的。如果用神经网络来表示策略函数，我们可以发现随机控制和深度学习的诸多相似。利用基于深度学习的算法，我们能处理几百个甚至更高维度的随机控制问题。这种方法也可用于求解确定性控制问题和非线性抛物型偏微分方程。

       人们习惯对物理问题使用第一性原理建模，因为这样的模型很可靠。然而，这样的模型在实际计算中可能会非常困难（比如薛定谔方程），而简化模型对某些方程很难实现（比如湍流模型）。机器学习或许可以从以下三方面提供一个基于物理的建模：

1. 将多尺度建模变为现实

2. 利用数据直接构建模型

3. 将物理模型、观测和数据同化结合

        针对机器学习构建的模型，我们讨论两个问题：

        第一，机器学习被称为黑箱，如何看待它的可解释性？可解释是相对的。我们知道气体动力学中的欧拉方程表示守恒性，但状态方程是否可解释是不重要的，实际上它可能是来自对实验数据的样条插值，我们并不关心样条函数的系数是否可解释。基于机器学习的模型是类似的，一些基本问题，比如守恒律，应该是可解释性的，但函数的具体形式，不必非要可解释。

       第二，该模型是否可靠？以下两点非常重要。第一，模型需满足物理学的要求，比如对称性和守恒性。第二，用于建模的数据要够广，能覆盖到所有实际情况。

        上述这些想法已成功应用到许多问题了，比如分子动力学，稀薄气体动力学等。与高性能计算结合，人们已能模拟数亿个原子的系统，在计算规模上提升了五个数量级。

机器学习是一个黑箱吗？（搜狗图片）

        机器学习和应用数学的结合能给机器学习领域带来新视角。这里我们讨论以下两个方面的内容：

• 传统机器学习的观测数据是提前生成的。但在解决计算科学领域的实际问题时，训练集通常是在机器学习的过程中生成（类似sequential multiscale modeling 和 concurrent multiscale modeling 的区别）。这被称为concurrent 机器学习。如何生成一个最小却有代表性的数据集是concurrent 机器学习的关键问题。

• 虽然机器学习有许多优势，但它在某种程度上很脆弱——它对超参数和训练算法太敏感了。对经验丰富的人来说，调参依然是一个艺术。这是因为在构建模型和算法之前，我们并没有仔细地考虑问题的表述，这就好像在还没有构建PDE模型时就去对物理过程建模。柯朗学派的经验告诉我们，在考虑PDE模型前要确认PDE的适定性。那么问题是，如何判断机器学习模型的适定性呢？如果我们有一个好的连续模型，再离散化，得到离散模型和算法，这样的模型将会稳定多了。[1]已经做了一些尝试，某些简单的连续模型和离散方式能导出神经网络模型。这件事鼓励我们走出机器学习的领域，寻求第一性原理的帮助。类似的想法在降噪上也有应用。降噪的常用方式是使用合适的滤波。另一种方式是写出降噪的数学模型，一个连续变分问题，接着离散，用优化算法求解，比如著名的Mumford-Shah和Rudin-Osher-Fatemi模型。它将降噪问题变成了PDE问题，在数学上是良定义的。

       另外，机器学习提出了许多新的高维逼近论分析问题。这类问题的研究会形成一个新的数学分支：高维分析。其中一个重要问题是，如何选取对象（函数、概率分布、动态系统等）的复杂度特征。抽象说来，复杂度是该对象被基本元素逼近的困难程度。经典理论将函数的光滑性作为复杂度的衡量指标，由此引申出C^k空间，Sobolev空间等。用基本元素（比如分片多项式）来逼近函数时，光滑性决定了逼近速率。但这样定义的复杂度会有维度灾难。所以在高维空间，由光滑性决定的复杂度或许不再是合适的方式，取而代之的是一个函数能否高效地被某种神经网络逼近，由此引申出再生核Hilbert空间（RKHS），Barron空间等。

Isaac Newton 1643-1727（数据科学人工智能）

应用数学基本构成及其未来

        应用数学能像基础数学（代数，几何，分析，拓扑）一样，形成由几个基本的方向组成的一门系统的学科吗？目前来看时机尚不成熟。但随着机器学习进入应用数学的研究领域，应用数学的几大主要构成部分愈发清晰，这意味着应用数学终将成为一门成熟的学科。这里我们不妨对应用数学的主要方向假想一下：例如：基于第一性原理的模型，学习，算法。

• 基于第一性原理的模型：这里的模型包含物理模型本身以及研究该模型的分析工具。前者关于物理（基本的物理学定律和物理学原则），后者关于数学（变分原理等）。基于第一性原理将物理问题数学化便是变分问题或者微分方程，接着是运用分析工具来研究这些问题。

• 数据驱动方法（学习）：最重要的是机器学习和统计方法。

• 算法：用于第一性原理建模和数据驱动方法的算法，比如优化算法。

       相比于基础数学教育，应用数学教程系统性不足，往往流于片面，教学只是具体问题（方程）求解的方法和技巧，缺乏大局观。弄清楚了应用数学的基本结构，我们就可以设计出系统的完整的教学规划。

1. 模型，学习相关的物理知识和数学工具（ODE，PDE，变分，随机分析）；

2. 学习，相当于数据分析，包括机器学习，数据处理，统计分析等；

3. 算法，连续问题的算法（分析）和离散问题的算法（离散数学）。

Von Neumann 1903-1957（搜狗百科）

       应用数学将成为交叉学科研究的基石，应用数学教育将为学生提供系统性的学术训练，使交叉学科的研究体系化。在科学发展的历史长河中，牛顿时期确立了数学是描述科学的语言；Von Neumann 时期提出数值算法是连接数学与科学的桥梁；如今，第三个变革时期即将来临，应用数学的主要组成准备就绪，为交叉学科的科学研究和技术革新保驾护航。这真是一个激动人心的时刻。让我们一起为将设想变为现实而努力奋斗！