（卷积）神经网络 | caffe
1.Caffe：Convolutional Architecture for Fast Feature Embedding.
2.卷积神经网络的功能？
- 对于一张原始图片自动学习出最匹配的卷积核以及其组合方式（最具代表性的特性）
3.一个基本卷积网络的组成：
- 卷积层
- 池化层
- 输出层
4.步长（stride）是什么？
- 连接权重（
Weight）在原始图像上每次平移几个像素单位（水平+垂直方向）。
5.步长变大，会怎么样？
- 图像的规格变小
6.same padding是什么？
- 通过
Weight从原始图像中提取特性时，图像的规格会变小，为了使图像仍保持原始图像规格，可以在原始图像周围添加一层（或多层）0，人工添加边界。
7.池化的作用？
- 减少图像的空间大小。
8.池化的方式？
-
Mean/Max
9.非线性部分存在的意义？（sigmoid & 双曲正切函数）
- 数据归一化（将数据限制在
(0,1)或(-1,1)范围内） - 若仅存在线性部分，迭代后的数据仍能用线性表示，那叠加多层神经网络也就失去了意义。
10.在空间中的五种操作
- 升维/降维
- 放大/缩小
- 旋转
- 平移
- 弯曲
11.每层神经网络的数学理解：
- 线性变换与非线性变换的组合，将输入空间投向另一个空间。
12.每层神经网络的物理理解：
- 通过现有的不同物质的组合形成新物质。
13.神经网络的目的？
- 通过矩阵的线性变换和激活函数的非线性变换，将原始输入空间投向线性可分/稀疏的空间去分类/回归。
weight-filter {
type: "xavier"//一种算法，防止初始化的Weight偏差太大
}
kernel_size //权重参数（Weight）的大小
test_iter //test_iter * batch_size(测试集的) = 测试集的大小
test_interval //训练时，每迭代test_interval，就进行一次测试（accurary & loss）
lr_mult //学习率，第一个是Weight，第二是bias
num_output //卷积核（filter）的数量
InnerProduct // 即为Fully_connected Layer（全连接层 / 内积层）
display: 100 ///每迭代100次显示一次
ReLU //Rectified（矫正的） Linear Units（激活函数）---sigmoid & 双曲正切函数
weight_decay //权重衰减（放在正则项regularization前面的一个系数）---防止过拟合
momentum //动量，梯度下降法中的一种常用加速技术
forward pass //前向传播---接收输入并计算输出
backward padd //反向传播---接收输出梯度并计算相关参数和输入梯度，并反向传播给前面的层
setup //初始化设置
15.隐含层和输出层的神经元都是拥有激活函数的功能神经元。
16.神经网络的学习过程？
- 根据训练数据调整神经元之间的连接权
(Weight)，以及每个功能神经元的阈值。
17.什么叫进行了一轮学习(one epoch)？
- 读取一遍训练集。
18.累积BP(Back Propagation)算法，在读取整个训练集D一遍后才对参数进行更新，参数更新频率低。
19.过拟合是啥？
- 随着拟合误差的减小，一开始预测误差也随之减小，但随着拟合误差到了某个临界点后，预测误差反而会增大。
20.无监督逐层训练(Unsupervised Layer-wise Training)
①存在的原因？
- 多隐层神经网络不能直接使用经典算法（如：标准
BP算法）
②为啥不能用？
- 因为误差在多隐层内逆向传播，会"发散"
(diverge)，因而不能收敛到稳定状态。
③无监督逐层训练是什么？
-
每次训练一层隐节点，训练时，将上一层的隐节点的输出作为输入，而本层隐节点的输出作为下一层隐节点的输入。这个过程叫：预训练
(pre-training) -
当全部预训练完成后，再对整个网络进行微调
(fine-tuning)训练
④预训练和微调的作用？
- 先从每组中找到其中（局部）较好的设置，然后再进行全局寻优。
21.权共享(Weight Sharing)
①是什么？
- 在训练中，无论在卷积层还是采样层，让一组神经元使用相同的连接权
(Weight)。
22.特征映射(Feature Map)是什么？
①每个特性映射是一个平面，由神经元阵列组成，多个这样的面就构成了一个卷积层。
②那么特性映射有什么用？
- 通过一种卷积滤波器提取输入的一种特征。
23.卷积神经网络的特殊性？
- 神经元之间并非全连接。
- 同一层中某些神经元之间的连接权重
(Weight)是共享的。
C：特征提取层
S：特征映射层
25.数据类型
①数据库Data
- source
- batch_size
（batch_size: 64 一次训练64条数据） - rand_skip
- backend
（default：LevelDB）或LMDB
②内存Data
- batch_size
- channels
- height
- width
③HDF5 Data（Hierarchical Data File）
- source
- batch_size
④Images Data
- source
- batch_size
- rand_skip
- stuffle（是否随机打乱图片顺序）
- new_height
- new_width
⑤Windows（窗口） Data
- source
- batch_size
