深度机器学习中的batch的大小对学习效果有何影响？
Batch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。
首先，为什么需要有 Batch_Size 这个参数？
Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。其二，由于不同权重的梯度值差别巨大，因此选取一个全局的学习率很困难。Full Batch Learning 可以使用Rprop 只基于梯度符号并且针对性单独更新各权值。
对于更大的数据集，以上 2 个好处又变成了 2 个坏处：其一，随着数据集的海量增长和内存限制，一次性载入所有的数据进来变得越来越不可行。其二，以 Rprop 的方式迭代，会由于各个 Batch 之间的采样差异性，各次梯度修正值相互抵消，无法修正。这才有了后来 RMSProp 的妥协方案。
既然 Full Batch Learning 并不适用大数据集，那么走向另一个极端怎么样？
所谓另一个极端，就是每次只训练一个样本，即 Batch_Size = 1。这就是在线学习（Online Learning）。线性神经元在均方误差代价函数的错误面是一个抛物面，横截面是椭圆。对于多层神经元、非线性网络，在局部依然近似是抛物面。使用在线学习，每次修正方向以各自样本的梯度方向修正，横冲直撞各自为政，难以达到收敛。
可不可以选择一个适中的 Batch_Size 值呢？
当然可以，这就是批梯度下降法（Mini-batches Learning）。因为如果数据集足够充分，那么用一半（甚至少得多）的数据训练算出来的梯度与用全部数据训练出来的梯度是几乎一样的。
在合理范围内，增大 Batch_Size 有何好处？
- 内存利用率提高了，大矩阵乘法的并行化效率提高。
- 跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。
- 在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。
盲目增大 Batch_Size 有何坏处？
- 内存利用率提高了，但是内存容量可能撑不住了。
- 跑完一次 epoch（全数据集）所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加了，从而对参数的修正也就显得更加缓慢。
- Batch_Size 增大到一定程度，其确定的下降方向已经基本不再变化。
调节 Batch_Size 对训练效果影响到底如何？
这里跑一个 LeNet 在 MNIST 数据集上的效果。
运行结果如上图所示，其中绝对时间做了标幺化处理。运行结果与上文分析相印证：
- Batch_Size 太小，算法在 200 epoches 内不收敛。
- 随着 Batch_Size 增大，处理相同数据量的速度越快。
- 随着 Batch_Size 增大，达到相同精度所需要的 epoch 数量越来越多。
- 由于上述两种因素的矛盾， Batch_Size 增大到某个时候，达到时间上的最优。
- 由于最终收敛精度会陷入不同的局部极值，因此 Batch_Size 增大到某些时候，达到最终收敛精度上的最优。
可以考虑两个极端：A.全部数据作为一个batch和 B.每个采样作为一个batch
A.如果用全部数据作为一个batch，优点有如下：
- 这样理论上是可以得到全局收敛的
- 可以用一些加速收敛算法，比如L-BFGS之类的
- 便于并行计算
但是同样存在缺点：如果数据集过大，训练会很慢的
B.每个采样作为一个batch，优点有如下
- B方法在每个采样上的参数修正方向会与整体最优的方向有出入。这条看似是个缺点，实际上，DNN因为是非线性模型，有很多参数，现有目标函数会有很多局部极值，这就会导致模型不精确。因为A方法每次修正依赖于现有模型和所有数据，很难跳出这些局部极值，所以A方法是一种很依赖于初始模型的方法。而B方法基于每个采样去修正，修正幅度大了以后，就容易跳出这些局部极值，避免过拟合发生。B方法一般不依赖于初始模型，所以可以用来训练初始的神经网络。之后再用A方法或者下面介绍的C方法优化
- 速度在大部分情况比A方法快。
缺点就是:
- 难以并行计算
- 因为每次更新基于单个采样，很容易导致难以收敛。这个发生原因和优点1 是一样的。这种现象有时是优点有时也是缺点，主要取决于学习率的选择。于是就有第三种情况，
C：一部分数据作为一个batch
这种情况每次更新模型修正幅度没有A那么小，也没有B那么大，而且可以并行计算，所以速度也比较快。一般用的时候，在非监督训练阶段，可以先用B方法创建初始模型，然后在监督训练阶段，选择小batch size进行初步训练，让模型跳出局部极值，之后用大的batch size让模型收敛，这样一般能达到比较好的效果参考：Dong Yu, Li Deng, Automatic Speech Recognition, Springer
