人工智能再提速，深度学习网络训练时间缩短六成学术资讯

图片1.png

“从自动驾驶到电脑视觉技术等各个领域，深度学习网络是人工智能应用的关键。”北卡州立大学计算机科学教授、论文共同作者沈锡鹏（音译）说，“训练深度学习网络对相关应用领域的数据模型进行识别和反馈所需的时间和计算能力，是AI新工具开发所面临的最大挑战之一。因此我们开发了一个加速方法——‘适应性深度再利用（Adaptive Deep Reuse）’。实用表明该方法可将训练时间缩短69%，且不影响其准确性。”该研究成果将以《适应性深度再利用技术：让CNN训练加速起飞》为题目在今年4月8-11日于中国澳门举行的第35届世界IEEE大会上发表。

在深度学习网络的训练中，需要将数据样本拆分成一块块相互连续的数据点。例如在确定某个图像中有没有行人时，深度学习网络首先需要把电子图像分割成一块块彼此相连的像素块，且每块数据都要通过一组计算过滤器处理。得出的结果又被送进第二组过滤器再次处理。这样不断迭代，直到所有的数据都通过所有的过滤器，从而最终得到结论。

若一组数据中的每个数据样本都完成了这个处理过程，我们称为一个世代。当我们需要对深度学习网络进行微调时，常需要把同一组数据反复处理，达到几百世代。而许多数据组包含成千上万甚至百万个数据样本，大量数据通过大量过滤器进行反复多次迭代，就意味着训练需要耗费大量的计算能力。

沈教授的研究组意识到，一组数据中的许多数据块彼此是相似的，例如一块蓝天与另一块蓝天在同一图像中彼此相似，也同其他图像中的蓝天相似。通过找出相似的数据块，深度学习网络可以先过滤其中一块数据，然后将结果应用于同一数据组里所有的同类数据块从而大大节省了计算量。不仅在输出结果，在每一步处理过程中也可以利用同样的相似性。

数据块究竟应该定多大？根据什么确定数据的相似性呢？研究人员利用相对较低的标准先行确定那些大块的相似数据，在随后的世代中，数据块逐渐缩小，相似原则也趋于严苛，以提高训练结果的准确性。他们还设计了一个适应性算法，能自动在训练过程中逐级提升标准。

研究组分别对三个网络进行测试评估，CifarNet采用Cifar10数据，对AlexNet采用ImageNet，对VGG-19网络采用ImageNet数据，均是最常用的测试床。

测试结果证明，“适应性深度再应用”技术对上述三个深度学习网络的训练时间分别降低了69%、68%以及63%，而准确性无损。测试还证明，网络越大，采用新技术训练时间减少更显著。

科界原创

编译：馥莉

审稿：alone

责编：张梦

原文链接：

https://www.sciencedaily.com/releases/2019/04/190408114322.htm