斯坦福学者：生物智能可能是解决AI发展瓶颈的关键

最初的类人智能出现在几百万年前的非洲大陆，并持续进化，最终在大约 10 万年前，在我们人类这一物种——智人的大脑中达到顶峰。

作为现代人类，我们只能想象我们远古的祖先凝视夜空，思考物质现实的本质，内省地窥视自己的内心，思考自己的心理现实本质时的感受。

在过去几百年里，我们人类通过发现控制空间、时间、物质和能量行为的基本数学规律，在对物理现实 (physical reality) 的精确理解方面取得了巨大的智力进步。这些基本数学规律现在被编纂在量子力学和广义相对论的大框架中。

然而，在探索心理现实 (mental reality) 本质方面，我们仍刚刚开始。特别是，人类智能是如何从由 1000 亿个神经元通过 100 万亿个突触连接而成的生物有机体中产生的？

神经科学、心理学和认知科学等现代学科在过去 100 年里取得了许多重要进展，为攻克这个大问题奠定了基础。事实上，正如奥巴马在 2013 年宣布美国大脑计划 (United States Brain Initiative) 时所解释的那样，“揭开我们两耳之间三磅重物质之谜”的时机已经成熟。

但是，当涉及到我们自己的心智能力时，对于现代人来说，仅仅理解它们是不够的。我们也非常希望在无生命的系统中重建这些能力，这些系统有时是以我们自己的形象为基础构建的。

从本质上说，人类作为进化的产物，有时渴望扮演创造者的角色。从玛丽 · 雪莱的《弗兰肯斯坦》到艾萨克 · 阿西莫夫的《我，机器人》，这种渴望渗透在人类文学作品中。

事实上，人工智能 (AI) 这一新兴领域，经常与神经科学、心理学和认知科学领域合作，在创造具有某些类人能力的机器方面取得了巨大进展。在这篇文章里，我将进一步探讨人工智能、神经科学、心理学和认知科学，以及数学、物理和社会科学等学科过去是怎样、以及未来如何共同合作，追求交织在一起的对理解和创造智能系统的探索。

在过去的 60 多年里，AI 深受神经科学和心理学的影响，并且确实受到神经科学和心理学的启发。早期，许多 AI 从业者在神经科学和心理学方面做了一些很好的研究。这里我列举了神经科学、心理学和人工智能之间相互影响的一些事实：

• 由相对简单的元素 (神经元) 组成的分布式网络，能够完成源自神经科学、如今以神经网络形式渗透到现代人工智能系统中的人类智能的惊人计算。这一观点并不总是显而易见的，直到大约一百年前，在高尔基和卡哈尔之间著名的辩论之后，这一观点才变得坚定起来。

• 各种降维技术，包括多维尺度和因子分析，最初是在心理测量学研究的背景下发展起来的。

• 著名神经学家赫拉斯 · 巴洛 (Horace Barlow) 提出了分解代码的思想，这一思想反过来又启发了独立分量分析 (ICA) 和当前的 AI 研究，旨在解开数据变异的独立因素。

• 托尔曼对认知地图的研究提供了证据，证明即使是老鼠也能形成对世界的心理模型，并能利用这些模型进行规划和导航。这巩固了内部模型形成是动物智能的关键组成部分这一观点，这是目前人工智能研究的前沿。

• Hopfield network 是理论神经科学的一个模型，为思考分布式、结合存储的存储器和检索提供了一个统一的框架，也启发了玻耳兹曼机，这反过来又为证明深度神经网络模型的成功提供了关键的一步，并启发了许多弱约束的分布式满足作为 AI 计算模型的想法。

• 目前主宰机器视觉的深层卷积网络的关键组成部分直接受到大脑的启发。这些成分包括腹侧流的分层视觉处理，表明深度的重要性；视网膜拓扑映射 (retinotopy) 作为整个视觉皮层的组织原理的发现，启发了卷积；简单和复杂的细胞的发现，启发了如最大池化等操作；以及皮层内神经归一化的发现，推动了人工网络中的各种归一化阶段。

• 将稀疏编码作为理解初级视觉皮层中定向边缘检测器起源的一种尝试而进行的开创性工作，这启发了将稀疏编码作为现代人工智能系统的基本构建块。

• 像时序差分学习 (temporal difference learning) 这样的算法，现在已经成为强化学习的基础，其灵感来源于经典条件反射的动物实验。

• 反过来，强化学习对基底神经节手术的解释产生了巨大的影响，其中多巴胺能神经元为基底神经节提供了非常重要的奖励预测误差信号，该信号驱动了许多强化学习算法中的学习。

• 大脑中记忆系统的模块化启发了现代记忆神经网络，它在一定程度上将存储器存储和决定何时从存储器中读写的执行控制电路的操作分开。

• 人类注意力系统激发了注意力神经网络，这些神经网络可以被训练来动态地关注或忽略其状态和输入的不同方面，以进行未来的计算决策。

• 形式生成语法在语言学和认知科学中的发展，导致了概率语法和句法分析在 CS 和 AI 领域的发展。

• 像 dropout 这样的现代正则化技术受到神经动力学内在随机性的启发。

尽管目前人工智能系统在有监督的模式识别任务上已经取得了巨大的商业成功，但在模仿真正的人类智能方面，我们还有很长的路要走。在这里，我概述了生物和人工智能领域可以携手前进的一些方向。

信用分配问题可能是神经科学和人工智能领域最大的开放性问题之一。夸张点说，假设你正在打网球，你的一个击球失误了。这应该责怪你的 100 万亿个突触中的哪一个？大脑是如何在你的运动系统中找到正确的突触组并纠正它，尤其是当错误发生几百毫秒内通过视觉系统传递的时候?

在人工智能中，这种信用分配问题在很多情况下是通过错误的反向传播，通过多层计算来解决的。然而，目前还不清楚大脑是如何解决这个问题的。我们只知道，大脑使用一个局部学习规则 (local learning rule)：即每个突触仅使用实际可用的信息来调整强度，例如由突触连接的两个神经元的电活动，附近其他突触的强度，以及反映奖励和错误的任何神经调节输入。

阐明这些局部突触规则是什么、以及它们如何工作，可能会对 AI 产生重大影响，使得在神经形态芯片上实现并行学习成为可能，从而避免反向传播的通信开销。

但更普遍的情况是，找到一个困扰神经科学和人工智能的常见未解问题，应该会促使研究取得进展，通过将生理学家、计算神经科学家和人工智能研究者聚集在一起，共同解决生物学上合理的信用分配问题。要成功应对这一重大挑战，可能需要将实验知识、理论和工程技术结合起来。

生物神经模型和人工神经模型之间的一个主要区别在于我们模拟连接神经元的突触的方式。在人工神经网络中，突触是由单个标量值来模拟的，这个标量值反映了一个乘法增益因子，它转换了突触前神经元的输入如何影响突触后神经元的输出。

相比之下，每个生物突触内都隐藏着极其复杂的分子信号通路。例如，海马突触隐藏在我们对最近事件的记忆之下，每个突触都包含一个由数百种不同类型分子组成的化学反应网络，该网络能够实现具有复杂时间处理能力的整个动力系统。

看到这样的复杂性，理论家或工程师可能会倾向于简单地忽略它，认为它是进化过程中偶然产生的生物混乱。然而，理论研究表明，这种突触复杂性可能确实对学习和记忆至关重要。

更普遍的情况是，我们目前的 AI 系统很可能忽略了生物突触的动态复杂性，仅仅关注表格上体现的性能提升。正如我们在网络中增加了空间深度来实现复杂的层次表示一样，我们也可能需要在突触中增加动态深度来实现复杂的时间学习能力。

单个突触内的复杂分子状态有助于学习和记忆。(参考： A memory frontier for complex synapses.)

通常，当前的商业 AI 系统涉及的训练网络具有相对同质的分层结构或从随机权重表开始的递归结构。然而，对于更复杂的任务来说，这可能是一个很难解决的问题。

事实上，生物进化走的道路截然不同。所有脊椎动物最后的共同祖先生活在 5 亿年前。从那以后，它的原始大脑一直在进化，形成了大约 1 亿年前的哺乳动物大脑，和大约几百万年前的人类大脑。这种不间断的进化链导致了复杂的大脑结构和高度保守的计算元素，以及巨大的系统级模块化。

事实上，我们目前缺乏任何工程设计原理能解释像大脑这样复杂的传感、通信、控制和记忆网络如何在 5 亿多年的时间里不断地扩大规模和复杂性，同时又不会失去在动态环境中自适应运作的能力。因此，AI 从大脑的系统级结构中获取线索可能非常有趣。

一个关键的系统特性是功能和解剖层次上的模块化。大脑并不像我们目前的 AI 架构一样是同质的，而是有不同的模块，比如海马体 (用于辅助情景记忆和导航)、基底神经节(基础强化学习和行为选择) 和小脑(运动控制和更高层次的认知)。

此外，人脑中的记忆系统 (习惯性记忆、运动技能、短期记忆、长期记忆、情景记忆、语义记忆) 在功能上也是模块化的；不同的患者可能在一种记忆上有缺陷，而在另一种记忆上没有缺陷。

又如，在运动系统中，嵌套反馈回路结构占主导地位，简单的快速回路通过脊髓在 20 毫秒内就能实现自动运动校正，稍慢的智能回路通过运动皮层在 50 毫秒内能实现更复杂的运动校正，最后，流经整个大脑的视觉反馈实现有意识的运动错误纠正。

最后，所有哺乳动物大脑的一个主要特征是由大量相似的 6 层皮质柱组成的新皮层，所有这些柱状结构都被认为是在一个标准的计算模块上实现变化的。

总的来说，经过 1 亿年进化而来的现代哺乳动物大脑非凡的模块性，表明这种系统级模块化可能有利于实现人工智能系统，当前的从白纸状态开始训练神经网络方法对于实现更一般的人类智能是不可行的。

AI 系统与 human-like learning 之间的另一个主要区别在于，AI 系统要接近人类水平的表现，需要大量的标记数据。

例如，最近的语音识别系统使用 11940 小时的语音进行训练，并有对应的文本语料。如果我们每天花 2 小时看和听另一个人大声朗读文本，需要 16 年才能获得这么大的数据集。

AlphaGo zero 自我对弈了 490 万场围棋，才击败了人类围棋大师。如果一个人话 30 年的时间，每天必须要下 450 场才能达到 AlphaGo zero 的练习量。

此外，最近的一个关于可视化问答的数据集包含 0.25M 的图像、0.76M 的问题和~ 10M 的答案。如果我们每天收到 100 个关于图像的问题的答案，那么我们需要 274 年的时间才能接触到这么大的数据集。

很明显，在所有这些情况下，人类接收到的带标签的训练数据要少得多，但人类能够很好地识别语音、下围棋和回答有关图像的问题。

弥合人工智能和生物智能之间这一鸿沟的几个关键在于，人类从无标记数据中学习 (无监督学习) 的能力，以及从解决先前任务时获得的强大先验知识，并将这些知识转移到新任务 (转移学习) 的能力。

最后，人类社会已经建立了教育系统，包括精心选择的任务序列的设计，以促进知识的获取 (课程设计)。

为了在人工系统中有效地实例化这些概念，我们需要对人类和其他动物如何进行无监督学习、如何在任务之间传递知识以及如何优化课程等问题有更深层次的理解和数学形式化。这些领域的进步，需要计算机科学家、心理学家和教育工作者的相互合作，这可能是减少当前 AI 系统令人望而却步的数据需求的关键。在其他标记数据稀缺的领域，它们对于增强 AI 的能力至关重要。

Taskonomy：斯坦福大学进行的一项关于 26 项不同视觉任务之间的迁移学习的研究

当前成功商用的 AI，多是监督学习模型。AI 被动获取输入，人为调参纠正输出的结果。

但是反观人类，即使是婴儿也可以主动去探索周围环境，具有学习和利用世界模型的卓越能力。 

举个例子。我们可以玩个小魔术，给婴儿看两个东西，A 好像是可以穿墙而过；B 好像撒手后不会掉下来。

把这两个东西教给婴儿后，婴儿拿到 A 会尝试去把它推进硬质表面；而拿到 B 则会撒手，看看它到底会不会掉下来。

你看，婴儿不需要人为去纠正结果，而是会去主动去探索结果。这个非凡的实验表明：

1. 婴儿的脑海中已经建立起物理世界运作规律的模型

2. 能够注意到违反物理世界运作规律的事件

3. 积极验证上述事件收集数据，并主动根据模型选择训练数据

这个实验给了我们很大启发，即：从经验中学习世界模型，并使用这些世界模型来制定未来的行动规划，以及进行决策。

该系统直接将世界状态映射到值或预期的未来奖励，人工智能中的这项工作可以与神经科学的工作携手并进，揭示动物的神经活动如何与想象的和实现的未来相关。 

此外，好奇心等基本驱动因素可以化为强化学习系统，以促进学习和探索。 

这种基于模型的规划和决策，可能是当前无模型强化学习系统的有力辅助。进一步深入理解促进动物和人类学习的内在生物驱动，可能对加速人工智能的学习非常有益。

生物系统和人工智能系统之间的另一个数量级差异，在于它们的能量消耗。 同样的计算量，人脑仅消耗 20 瓦的功率，而超级计算机则以兆瓦的功率运行。

造成这种差异有两个愿意。首先，可能是因为数字计算本身需要在计算的中间阶段，以极高的可靠性翻转每一个 bit。

相对的，生物计算像是让一群猴子敲代码，嘈杂又不精确；可每个中间步骤却非常可靠，导致最终结果是精准的。

另外，大脑还会智能地，根据所需的通信速度调节能量成本，只在需要更高速度且仅需要更高可靠性时，才会消耗更多能量。而数字计算机的每个时钟周期，都需要消耗大量的能量。 

我们以大脑中遍历目标神经元的单个 bit 所需的成本为例 [18]。

首先，囊泡的随机释放化学信号，以 1 毫米 / 秒的速度扩散到源神经元和目标神经元之间的空间，仅消耗 2.3fJ 能量（考虑到神经元连接之间的距离只有 20 纳米，这个速度完全没有问题）。

然后，该化学信号被转换为无源电信号，再以 1 米 / 秒的速度流过神经元细胞体，横穿约 10 微米燃烧 23fJ。 

最后到达轴突终端并转换为长轴，沿着轴突以 100 米 / 秒的速度行进 1cm，消耗 6000fJ。 

可以看到，在从化学信号传递到被动电信号时，大脑动态地将通信速度上调 1000 倍，以跨越增加 1000 倍的距离，从而导致能量消耗增加 10 倍。 

类似地，在从被动到主动电信号传输的过程中，大脑将通信速度提高 100 倍，以跨越增加 1000 倍的距离，从而导致能量消耗增加约 200 倍。

所以生物计算的混乱模式，反而可能反映出高能效的设计原则，值得我们借鉴到 AI 硬件中。

Neurogrid：由硅实验室的斯坦福大脑开发的一种生物启发的神经形态计算机

最近，神经科学和人工智能之间的相互作用的发展，综合深度和复发神经网络模型的发展，成功构建出动物的在对应不同任务时，调用不同大脑区域的模型。例如腹侧视觉流，听觉皮层，前额皮质，运动皮质和视网膜。 

我们惊奇的发现，当训练深度或复发网络来解决任务时，其内部活动模式，与测量出来的（解决相同任务的）动物内部神经活动模式非常相似。 

这就涉及到一个基本问题：我们如何理解这些模型正在做什么以及它们如何工作？也就是说，如何解决 AI 神经网络的可解释性？

某些应用场景，尤其像医学诊断或和法律，AI 必须是透明的、可解释的。如果医生和法官无法解释为什么 AI 系统给出这样的决定，就没人敢采用人工智能系统的建议。

任务驱动的视觉系统卷积循环模型可以同时执行机器视觉任务并解释猴子视觉系统的动态

正如我们相信物理世界中一切现象的背后，都被普世的定律控制：空气动力学控制飞行；量子力学控制纳米世界的演化等等。

我们认为在智能领域，同样存在着普世的定律，可以连接和统一神经科学，心理学，认知科学以及人工智能等相关学科，同时和分析计算领域（如物理，数学和统计学）互惠互利。 

例如本文作者同时使用了动力系统理论 [25-28]，统计力学[29-33]，黎曼几何[34]，随机矩阵理论[13,35] 和自由概率理论 [36] 等技术，获得对生物和人工网络运作的概念性见解。 

创造智能机器可能存在多种解决方案，其中一些组件在生物解决方案和人工智能解决方案之间共享，而其他组件则可能不同。通过寻求普世的智能定律，我们可以更有效地理解和遍历整个解决方案空间。

发现适用于生物和人工系统的新兴智能的潜在法则，以及建立受神经科学和心理学启发的新型 AI，需要大家共同努力。

我们需要建立新的研究团体，遍布不同的学科，还需要培养新一代思想领袖，能够在计算机科学家，神经生物学家，心理学家和数学理论家等不同身份之间，随意转换。

这可能是本世纪及以后最激动人心的智力活动之一！