86. 机器学习/深度学习若干问

1. 1*1卷积核的作用

将网络加深加宽，压缩稀疏数据(压缩信道数)，降维，在特征图尺寸不变的情况下增加网络非线性(从而减少或保持信道数不变，或增加信道数)

2. 感受野的计算

l_k: = l_{k - 1} + ((f_k - 1) * prod_{1, k - 1}_(s_i))
其中:

• l_k: 第k层的感受野大小
• l_{k - 1}: 第k - 1层对应的感受野大小
• f_k: 第k层卷积核的大小
• s_i: 卷积核的移动步长

3. 为什么说bagging降低方差而boosting降低偏差

-1）bagging中如果各个子模型完全相同，则

否则

此时可以有效降低方差；

对于偏差，由于

故不能降低偏差。

-2）boosting中，使用贪心法用forward-stagewise(前向分步算法)来最小化损失函数 其中，前向分步算法即在迭代的第n步求解新的子模型f(x)和步长a(组合系数)，用以最小化

此处f_{n-1}_(x)即前n步得到的子模型的和，boosting顺序地最小化损失函数，故能降低偏差；
对于方差，由于boosting的顺序的适应性过程，各个子模型间强相关，故模型之和不能显著降低方差。