批标准化

批标准化（Batch Normalization,BN），又叫批量归一化，是一种用于改善人工神经网络的性能和稳定性的技术。 这是一种为神经网络中的任何层提供零均值/单位方差输入的技术。批量标准化在2015年的论文中引入。它用于通过调整和缩放激活来规范化输入层。

背景批标准化（Batch Normalization ）简称BN算法，是为了克服神经网络层数加深导致难以训练而诞生的一个算法。根据ICS理论，当训练集的样本数据和目标样本集分布不一致的时候，训练得到的模型无法很好的泛化。

而在神经网络中，每一层的输入在经过层内操作之后必然会导致与原来对应的输入信号分布不同,,并且前层神经网络的增加会被后面的神经网络不对的累积放大。这个问题的一个解决思路就是根据训练样本与目标样本的比例对训练样本进行一个矫正，而BN算法（批标准化）则可以用来规范化某些层或者所有层的输入，从而固定每层输入信号的均值与方差1。

使用方法批标准化一般用在非线性映射（激活函数）之前，对y= Wx + b进行规范化，是结果(输出信号的各个维度)的均值都为0,方差为1,让每一层的输入有一个稳定的分布会有利于网络的训练。

在神经网络收敛过慢或者梯度爆炸时的那个无法训练的情况下都可以尝试。

优点减少了参数的人为选择，可以取消dropout和L2正则项参数,或者采取更小的L2正则项约束参数。

减少了对学习率的要求。

可以不再使用局部响应归一化了，BN本身就是归一化网络(局部响应归一化-AlexNet)。

更破坏原来的数据分布,一定程度上缓解过拟合。

使用方法批标准化一般用在非线性映射（激活函数）之前，对y= Wx + b进行规范化，是结果(输出信号的各个维度)的均值都为0,方差为1,让每一层的输入有一个稳定的分布会有利于网络的训练。

在神经网络收敛过慢或者梯度爆炸时的那个无法训练的情况下都可以尝试。

批准标化指的是批数据, 把数据分成小批小批进行随机梯度下降. 而且在每批数据进行前向传递的时候, 对每一层都进行标化的处理。

本词条内容贡献者为:

王慧维 - 副研究员 - 西南大学