在训练深层神经网络的过程中，由于输入层的参数在不停的变化，因此，导致了当前层的分布在不停的变化，这就导致了在训练的过程中，要求 learning rate 要设置的非常小，另外，对参数的初始化的要求也很高。作者把这种现象称为 internal convariate shift. Batch Normalization 的提出就是为了解决这个问题的。BN 在每一个 training mini-batch 中对每一个 feature 进行 normalize. 通过这种方法，使得网络可以使用较大的 learning rate, 而且，BN 具有一定的 regularization 作用。
为什么需要 Batch Normalization
在神经网络的优化中最常用最进本的方法是 SGD, 其目标是寻找最小化 loss function 的参数：
\[ \theta = \underset{\theta}{\mathrm{arg min}} \dfrac{1}{N} \sum_{i=1}^N{\mathcal L\left(x_i, \theta\right)} \]在求解的过程中，一般是使用 minibatch 的方法，简单来说，就是计算下面的梯度：
\[ \dfrac{1}{m}\sum \dfrac{\partial{\mathcal L \left(x_i, \theta\right)}}{\partial \theta} \]使用 minibatch 的方法有两个好处：
- minibatch 计算出来的 loss 可以看做是整个 trainset 的 loss 的近似值。
- minibatch 中，可以并行地计算 m 各样本，因此，使用 minibatch 的方法比原始的 SGD 方法速度更快。
然而，SGD 算法有其固有缺点：
- 对初始值要求很高，如果参数的初始化不好，经常不能收敛
- 学习率比较难设置，由于每一层 input 数据的 scale 不同，导致 backward 的梯度的 scale 也不同，为了保证不会 gradient vanish, 只能设置较小的 learning rate, 而，较小的 learning rate 使得整个学习过程很慢
- 第 N 层的输入受前面 N-1 层的影响，在深度学习中，网络层数很多，因此，及时前面 layer 的很小的影响，当到达第 N 层的时候，会被放大很多倍。
在深度神经网络中，每一层输入数据的分布都不同，因此，每一层的参数都要去学习不同的分布。而主要由于上述 #3 的原因，使得这个过程比较困难。为了说明这个问题，使用一个简单的例子。考虑如下的一个两层的神经网络：
\[ F_2\left(F_1\left(\theta_1, x\right), \theta_2\right) \]\(F_1\) 的输出作为 \(F_2\) 的输入，因此，在学习的过程中，当 \(F_1\) 的输入 \(x\) 的分布变化的时候 (在选择 minibatch 的使用根本无法保证每次选择的 minibatch 的分布是相同的), \(F_2\) 的参数在向最优解收敛的过程中就会产生偏差，因此，导致了收敛速度变慢。而 BN 就是要解决这个问题。
想象一下，如果 \(F_2\) 的学习不受 \(F_1\) 的输入 \(x\) 的影响，即不管 \(x\) 输入的是什么，\(F_2\) 的输入都是相同的分布，这样，\(F_2\) 就不用调整去适应由于 \(x\) 输入变化带来的影响，那么，是否就可以解决这个问题了呢？因此，这就是 BN 的提出。
Batch Normalization 是什么
Input: Values of \(x\) over a mini-batch, \(\mathcal{B}={x_{1\dots m}}\)
Output: \(\gamma, \beta\)
为什么 Batch Normalization 可以加速训练
- 允许网络使用较高的 learning rate. 在传统的深度网络训练中，如果使用较大的 learning rate 很容易导致 gradient vanish 或者 gradient explode. 通过在整个网络中 normalize activations, 可以防止参数的较小的改变被应用到较大的或者次优的 activation 中。另一方面，BN 使得网络对于 parameter 的 scale 更加鲁棒。通常情况下，large learning rate 会 increase the scale of layer parameters, 进而会放大 BP 的梯度，导致了 model explosion. BN 的使用使得网络在 BP 的时候不会受到 parameter scale 的影响。这是因为：
- 具有一定的 regularization 作用，可以减少 Dropout 的使用。dropout 的作用是方法 overfitting, 实验发现，BN 可以 reduce overfitting.
- 降低 \(L_2\) 权重衰减系数。
- 取消 LRN(Local Response Normalization).
- Reduce the photomatric distortions. 因为 BN 使得训练过程更快，能 observe 到的 sample 次数变少，所以，减少 distorting 使得网络 focus 在真实的图片上面。
- BN 不仅仅限定在 ReLU 上，而且，对其它的 activation 也同样适用。
MXNet 代码
Forward 阶段
1 | virtual void Forward(const OpContext &ctx, |
Backward 阶段
先给出梯度公式
\[ \begin{align} \frac{\partial{l}}{\partial{\hat{x}_i}} &= \frac{\partial{l}}{\partial{y_i}} \cdot \gamma \\ \frac{\partial{l}}{\partial{\sigma_{\mathcal{B}}^2}} &= \sum_{i=1}^m{\frac{\partial{l}}{\partial{\hat{x}_i}}\cdot\left(x_i-\mu_{\mathcal{B}}\right)} \cdot \frac{-1}{2}\left(\sigma_{\mathcal{B}^2}+\epsilon\right)^{-3/2} \\ \frac{\partial{l}}{\partial{\mu_{\mathcal{B}}}} &= \left( \sum_{i=1}^m{\frac{\partial{l}}{\partial{\hat{x}_i}} \cdot \frac{-1}{\sqrt{\sigma_{\mathcal{B}}^2+\epsilon}}} \right) + \frac{\partial{l}}{\partial{\sigma_{\mathcal{B}}^2}} \cdot \frac{\sum_{i=1}^m{-2(x_i-\mu_{\mathcal{B}})}}{m} \\ \frac{\partial{l}}{\partial{x_i}} &= \frac{\partial{l}}{\partial{\hat{x}_i}} \cdot \frac{1}{\sqrt{\sigma_{\mathcal{B}}^2+\epsilon}} + \frac{\partial{l}}{\partial{\sigma_{\mathcal{B}}^2}} \cdot \frac{2(x_i-\mu_{\mathcal{B}})}{m} + \frac{\partial{l}}{\partial{\mu_{\mathcal{B}}}} \cdot \frac{1}{m} \\ \frac{\partial{l}}{\partial{\gamma}} &= \sum_{i=1}^m{\frac{\partial{l}}{\partial{y_i}}} \cdot \hat{x}_i \\ \frac{\partial{l}}{\partial{\beta}} &= \sum_{i=1}^m{\frac{\partial{l}}{\partial{y_i}}} \end{align} \]1 | virtual void Backward(const OpContext &ctx, |
Batch Normalization 使用方法
- 一般 BN layer 放在 FC 和 conv 的后面
- 在 train 阶段，对每一个 minibatch 使用 BN, 那么，在 test 或者 predict 的时候怎么使用 BN 呢？常见的做法是使用整个 train set 计算出 \(\mu\). 由于 train set 的数据量非常大，计算 \(\mu\) 计算量非常大，所以，经常采用的技术是使用 moving average 算法，在 train 阶段计算出 \(\mu\)
CAFFE 中的使用方法
使用 residual net 网络作为示例
1 | layer { |
MXNet 中的使用方法
1 | # data 是输出数据，eps 是为了防止出现除 0 二废除 0 而给出的一个很小的值，momentum |