机器视觉量化投资Deep Learning

卷积神经网络CNN基本概念笔记

2016-10-15  本文已影响10601人  treelake

UNDERSTANDING CONVOLUTIONAL NEURAL NETWORKS FOR NLP

卷积

直觉理解

卷积的其它资料

  1. Understanding Convolutions
  2. Convolution Matrix

补零

以第一张图为例,它的输入尺寸为5x5,没有补零,过滤器尺寸为3x3,输出尺寸就是(5-3+1)x(5-3+1)即3x3的尺寸。

### 池化层
- 英文名pooling (subsampling) layer
- 典型的,**池化层**通常在**卷积层**之后应用。
- 最常见的方式是对过滤器的结果取最大值。
如下是一个2x2的最大池化窗口,取出4个中最大的。
![最大池化](http:https://img.haomeiwen.com/i2422746/14f6bb7dfe029658.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
- 池化有**一般池化**(非重叠池化)、**重叠池化**、**空金字塔池化**,上图为一般池化。
- 池化可以减少输出维数,同时一定程度上保持了最突出的信息。
- 池化可以提供基本的平移、旋转不变性。最大化操作会提取出相同的值而不管你是否有一定程度内的平移或旋转。
- 池化可以提供一个固定大小的输出矩阵。如果你有1000个过滤器,然后你对每一个的结果应用最大池化,不论你过滤器的尺寸和输入的尺寸是多少,你会得到1000维的输出。这意味着我们可以使用可变大小的输入和可变大小的过滤器,并且总可以得到相同尺寸的输出,来馈入分类器。
> 其它参考
  1. [池化方法总结(Pooling)](http://blog.csdn.net/danieljianfeng/article/details/42433475)
  2. [斯坦福教程wiki池化](http://ufldl.stanford.edu/wiki/index.php/%E6%B1%A0%E5%8C%96#.E6.B1.A0.E5.8C.96.E7.9A.84.E4.B8.8D.E5.8F.98.E6.80.A7)

### 过滤器的值
- 在训练阶段,一个卷积神经网络会基于你要执行的任务,自动学习它的过滤器的值,实现相应的变换。
- 比如说,一个处理图像分类任务的卷积神经网络会学习到在第一层从原始像素中检测边缘,然后在第二层使用这些边缘来检测出简单的形状,之后在更高的层次使用这些形状来发现更高级别的特征,比如脸部特征。最后一层则是一个使用这些高级特征的分类器。

![多层卷积自学习](http:https://img.haomeiwen.com/i2422746/62e486db2cacb6cd.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

### 多通道
- 很多时候,我们输入的是多通道图像。如RGB三通道图像,下图就是。也有可能我们出于特定目的,将几张图组成一组一次性输入处理。
- 对于这种情况,这时一个过滤器或卷积核其实对应的是x个卷积核(对应x通道)和一个偏置量,如下图中的`W0`和`W1`。一个通道中的某个区域(蓝框)和它对应的卷积核(红框)做卷积,多个通道的卷积结果线性相加,再加上偏置量(最下的单个红框),得到卷积结果(最右列中心的绿色框)。下图的卷积层包含2个多通道卷积核`W0`和`W1`,所以结果为2个绿色矩阵。而该卷积层的输出对于下一卷积层一定程度上也就可以说是2通道,处理方式也是类似。
> 参考: [cs231 Convolutional Neural Networks](http://cs231n.github.io/convolutional-networks/)

![多通道](http:https://img.haomeiwen.com/i2422746/dba567efd95c6c95.PNG?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)


### 常用激活函数
[ReLU](https://www.wikiwand.com/en/Rectifier_(neural_networks)) —— `f(x) = max(0, x) |  -oo<x<+oo`
![蓝色为原函数,绿色为平滑后的](http:https://img.haomeiwen.com/i2422746/93f9cdc25467d199.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
[Tanh](https://reference.wolfram.com/language/ref/Tanh.html) —— 双曲正切
![双曲正切](http:https://img.haomeiwen.com/i2422746/27ad3b911d26b952.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

### 优秀链接
- [技术向:一文读懂卷积神经网络CNN](http://dataunion.org/11692.html)
- [斯坦福UFLDL教程](http://ufldl.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B)
上一篇下一篇

猜你喜欢

热点阅读