图像检测之图像分类（上）

2019-02-13 本文已影响0人姜茶无糖

图片分类

判断图片中是否有某个物体：一个图片对应一个标签，性能指标：前一中一或者前五中一。

卷积神经网络（CNN）

基础神经网络：神经元，输入向量x，权重向量w，偏置标量b，激活函数sigmoid。

基础神经网络

浅网络：3~5层（只要层数足够深，能够拟合出任意函数），优化：梯度（导数）下降，BP后向传播（链式规则）

梯度下降优化：交叉熵 $C=-\frac{1}{n}\sum_{x}\sum_{j}[y_{j}\ln a_{j}^L+(1-y_{j}\ln (1- a_{j}^L) ) ]$ (a为神经网络的实际输出)

批量梯度下降：基于所有数据集

随机梯度下降：学习率/步长，扰动->动量算法（momentum）

构建CNN的基本层

卷积层 / 激活函数

池化层 / 平均池化 / 最大池化

全连接层

批归一化层

CNN卷积层

3通道（RGB）输入图片->3Dtensor

图片

CNN卷积

3D滤波器/卷积核

以扫描窗的形式，对图像做卷积

每层含有多个核，每个核对应一个输出通道

提取局部特征

权重参数需要自学习

卷积

非线性激活函数

sigmoid函数

ReLU函数（分段线性函数，无饱和问题，可以明显减轻梯度消失问题，深度网络能够进行优化的关键）

组合简例

卷积步长大于1，有降维作用。

卷积

CNN池化层

作用：特征融合/将维

无参数需要学习

超参数（尺寸/步长/计算类别：最大化池化/平均池化）

池化

CNN全连接层

作用：推理器，分类器（卷积层用来提取数字特征，层数越深，语义越高）

普通神经网络/全局感受野/去除空间信息/需要学习参数/等效于全局卷积。

全连接层整合卷积层的所有特征输出为1*k的矩阵

CNN——Softmax层：

指归一化函数：将一个实数值向量压缩到（0,1）所有元素和为1，最后一个全连接层对接1000-way的softmax层，得出1000类标签的概率值。取log值后，用于构建loss

归一化函数

工程技巧

图像像素中心化：（减去各自通道的均值）

防过拟合，提高泛化能力：数组增强*10，256*256中提取中心和四角的224*224子图片*5,水平翻转*2。

Dropout随机失活，训练中随机让一些神经元的输出设为0，失活率0.5（一般在全连接层使用）。

weight decay权重衰减（L2正则） $C=C_{0}+\frac{\lambda }{2n}\sum_{w}w^2$

AlexNet网络（标志着DNN深度学习革命的开始）

5个卷积层+3个全连接层，60M个参数+650K个神经元，2个分组->2个GPU（训练时长一周，50x加速）。

新技术：ReLU非线性激活，Max pooling池化，Dropout regularization

AlexNet网络

局部响应归一化（LRN）模拟神经元的侧抑制机制，某个位置（x,y）上夸通道方向上的归一化，n为领域值，N为通道数，超参数K=2，n=5， $\alpha$ =0.0001， $\beta$ =0.75

局部响应归一化函数

局部响应归一化示意

AlexNet网络

VGG网络：一个大卷积核分解成连续多个小卷积核，核分解：7*7核->3个3*3核（由ReLU连接），参数数量 $49C^2$ -> $27 C^2$ ,可以减少参数，降低计算，增加深度，继承了AlexNet结构特点：简单，有效。网络改造的首选基础网络。

图像检测之图像分类（上）

猜你喜欢

热点阅读