终结吧！机器学习的数学焦虑

原标题：终结吧！机器学习的数学焦虑

大数据文摘出品

编译：顾晨波、爽爽、陈同学、CoolBoy

本文作者Vincent Chen 是斯坦福大学计算机科学学生，同时也是斯坦福大学人工智能实验室的RA（研究助理）。

开始机器学习之旅，需要什么层次的数学功底？ 尤其是对于那些没有学过数学和统计学的同学们来说，这个问题当前不甚清楚，在这篇文章中，我将要为那些使用机器学习技术来开发产品或做学术研究的人们提供一些数学背景方面的建议。这些建议源于我与机器学习工程师、研究人员和教育工作者的对话，以及我在机器学习研究和产业方面的独到经验。

为了构造（机器学习中）数学的背景，我会先讲一些与传统课堂不同的思维模式和策略。然后，我会概述不同类型机器学习工作所需的具体背景，毕竟机器学习涉及的学科范围太广泛了（它涵盖了高中级别的统计和微积分，也涵盖了概率图形模型（PGM）的最新进展）。

我希望读者们在读到文章的最后时，能够知道自己有效使用机器学习所必需的数学知识。

作为这篇文章的前言，我想说：对于不同学习者的个人需求或目标来说，学习的风格、架构和资源都应该是独一无二的！

数学焦虑症的小贴士

事实证明，很多人——包括工程师——都害怕数学。首先，我想谈谈“擅长数学”这类传说。

事实是，擅长数学的人都做过大量的数学练习。因此，在研究数学问题被卡住时，他们依然能够“风雨不动安如山”。如最近的研究所示，学生的心态，而非先天才能，才是预测一个人学习数学的能力的主要因素。

要清楚的是，要达到这种境界，需要时间和精力。这显然不是你天生就有的能力。本文的剩余部分将帮助您确定所需的数学功底，并概述构建它的策略。

万事开头难

作为软性先修数学条件，我们假设你对线性代数/矩阵微积分都有了解，这样你就不会为奇怪的符号苦恼。同时我们还假设你有基础的概率知识。我们鼓励你拥有基本的编程能力，这是领悟机器学习中的数学的有力工具。之后，你可以根据你感兴趣的内容调整你的学习重点。

如何在课外学习数学？

我相信学习数学的最佳方式是以学生的身份全职学习。脱离了学校的环境，你可能不太容易获得系统的知识结构、正能量的同学压力和其他可用资源。

为了在课外学习数学，我建议大家将学习小组或午餐研讨会作为学习的重要途径。在研究型的实验室中，这可能以阅读小组的形式呈现。在构建知识结构方面，你的小组可以把教科书各章节过一遍，并定期对课程进行讨论，同时通过Slack平台的途径参与远程问答。

这里，企业文化发挥着重要的作用——这种“额外”的研究学习应该受到管理层的鼓励和激励，而不是被视为影响产品交付的消极怠工行为。事实上，虽然短期内会花费一些成本，但是构建同伴驱动的学习环境可以使你在长期的工作中更有效率。

数学与代码

在机器学习工作流程中，数学和代码紧密结合。代码通常直接由数学直觉构建，有时它甚至会和数学符号使用相同的句法。事实上，现代数据科学框架应用（例如NumPy）使得数学运算（例如矩阵/矢量积）与可读代码之间的转换变得直观和有效。

我鼓励你将编写代码作为巩固学习的一种方式。学习数学和编写代码都依赖于你对问题理解和表述的精准程度。例如，手动编写损失函数或优化算法，就是真正理解这些基础概念的好方法。

让我们来探索一个实际的问题：在你的神经网络中实现ReLU函数激活的反向传播（是的，即使Tensorflow / PyTorch可以替你做这个！）。这里简单介绍一下，反向传播是一种依赖于微积分链式规则来有效计算梯度的技术。为了在这个问题设定下使用链式规则，我们将上游导数与ReLU函数的梯度相乘。

我们先将ReLU激活函数进行可视化（就是下图的样子），然后这样定义这个函数：

为了计算函数的梯度（直观来说就是斜率），你可以想象出这样一下分段函数，如下面的指示函数所示：

NumPy为我们提供了有用且直观的语法——我们的激活函数（蓝色曲线）可以通过代码表述出来，其中x是我们的输入，relu是我们的输出：

relu = np.maximum(x, 0)

ReLU函数的梯度函数（红色曲线）可以如下所示，grad表示上游梯度：

grad[x < 0] = 0

在没有首先自己推导梯度公式的情况下，这行代码可能没有任何意义。在我们的代码中，对于满足[h