李林 允中 编译整理
量子位 出品 | 公众号 QbitAI

△ Hinton等合写的反向传播论文

1986年，39岁的Geoffrey Hinton与人合写了一篇论文。40年后，这篇论文已经成为推动人工智能爆炸式发展的核心。

如今Hinton已经70岁，兼具多伦多大学荣誉教授、Google Fellow等身份。几天前在多伦多举行的AI大会期间，Hinton说他现在对反向传播“深感怀疑”。他发出号召：

“我的观点是把它全部抛掉，重头再来。”

与会的其他科学家表示，反向传播仍然会在未来的AI发展中发挥核心作用。但Hinton并不满足，他想要奋力向前，找到一个全新的道路。

普朗克曾说过一句关于科学真理的真理：“科学进步源自葬礼”。Hinton说，AI的未来取决于那些对我所说的一切都深感怀疑的研究生们。

在反向传播中，标签或者权重用于在神经网络内表示照片或者声音。通过逐层调整权重，最终让神经网络能以最少的错误执行AI任务。

怎么才能让神经网络能够自己变聪明，换句话说，怎么才能更好地发展“无监督学习”？Hinton的想法是：“我怀疑这意味着摆脱反向传播”。

“我不认为这是大脑的工作方式”，Hinton说“我们显然不需要所有的数据都打上标签”。

对于Hinton的上述言论，很多学者也纷纷响应。

谷歌云首席科学家李飞飞表示，反向传播的重要性，就像劳斯莱斯发动机之于飞机，非常重要，但还不足以让我们像鸟儿一样自由翱翔。

“赞成Hinton的说法，没有工具是永恒的，即便是反向传播或深度学习”，李飞飞说最重要的事情就是：继续进行基础研究。此前李飞飞也一直提醒业界不要抱所有注意力和资源都放在产品化方面，基础研究跟不上的话AI发展很快会枯竭。

知名学者Gary Marcus表示，深度学习是不够的，我们需要重头开始，Hinton的这番话也是我多年以来一直坚持的观点。

不少人想起图灵奖得主，贝叶斯之父Judea Pearl说过的那句话：“大部分人类知识是围绕因果关系组织的，而不是概率关系”。

capsule

对反向传播产生怀疑之前的几年，Hinton的大量精力都投入到了对capsule的研究之上。

实际上，做capsule和想要推翻反向传播，几乎是出于同一个原因：不像大脑。

Hinton近3年前在MIT的一次讲座上说，它相信是这些不像大脑的东西，导致人工神经网络的效果不够好。

capsule的提出，正是为了应对神经网络与大脑的一个不相似之处，也是Hinton这3年来一直在讲的“神经网络的一个问题”：结构中层次太少。

Hinton提出，应该在现有神经网络结构的基础上，加一个capsule的层级，每一层网络的神经元组成capsule，在内部做计算，然后输出一个压缩的结果。

今年，Hinton和Google Brain同事Sara Sabour、Nicholas Frosst合作的论文Dynamic Routing Between Capsules即将发表于NIPS，Frosst这周还代表他们团队，在Google Brain全面答网友问的活动上，公布了capsule研究的一些进展：

capsule进行得很顺利！

我们组有5个人：Sara Sabour、Nicholas Frosst、Geoffrey Hinton、Eric Langois和Robert Gens，在多伦多办公室，取得了稳步进展。

capsule是一组神经元，它的活动向量表示特定类型实体（比如对象或对象部分）的实例化参数。

我们的一篇论文最近中了NIPS spotlight，其中将capsule之间的动态路由作为一种衡量低级特征之间一致性的方式。

这一架构在MNIST上实现了最好的性能，而且在识别高度重叠的数字时，明显比卷积神经网络好得多。

我们还在研究新的路由方法，在NORB数据集上取得了不错的结果，同时也在研究新的capsule架构，可以在输入空间中保持与给定组的等价性。

希望这些研究结果也能很快发表。

即将发表于NIPS的论文摘要对capsule做了个大致介绍：

capsule是一组神经元，其活动向量表示特定类型实体（例如对象或对象部分）的实例化参数。我们使用活动向量的长度来表示实体存在的概率及其表示实例化参数的方向。活动capsule在一个层面上通过变换矩阵对更高层capsule的实例化参数进行预测。当多个预测相符时，较高层的capsule就开始活动。

本文显示，经过区别训练的多层capsule系统在MNIST上实现了最先进的性能，在识别高度重叠的数字时，效果明显好于卷积神经网络。

为了达到这样的结果，我们用了一个迭代的路由协议机制：一个低层的capsule希望将其输出发送到一个活动向量具有大标量积、预测来自低层capsule的高层capsule。

OMT

想要看看40年前Hinton那篇论文么？在量子位微信公众号（QbitAI）对话界面，回复“bptr”四个字母，即可获得这份珍贵资料。

— 完 —

活动报名

加入社群

量子位AI社群8群开始招募啦，欢迎对AI感兴趣的同学，加小助手微信qbitbot3入群；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进群请加小助手微信号qbitbot3，并务必备注相应群的关键词~通过审核后我们将邀请进群。（专业群审核较严，敬请谅解）

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI

վ'ᴗ' ի 追踪AI技术和产品新动态