caffe 自带例子之MNIST的网络解析
网络结构
lenet 各层网络的定义在:examples/mnist/lenet_train_test.prototxt.
各层的定义:
- DATA layer
minist的数据源自lmdb文件, 数据的读取定义在data layer
layer {
name: "mnist"
type: "Data"
transform_param {
scale: 0.00390625
}
data_param {
source: "mnist_train_lmdb"
backend: LMDB
batch_size: 64
}
top: "data"
top: "label"
}
该层的名字是"mnist", type: data, 该层从指定的lmdb文件源读取数据. batch size = 64, 将读入的像素rescale到[0,1]范围内, 归一化因子等于1/256 = 0.00390625. 最终这一层会产生两个blobs, 一个是data blob, 另一个是label blob.
- 第一个卷基层 CONV
layer {
name: "conv1"
type: "Convolution"
param { lr_mult: 1 }
param { lr_mult: 2 }
convolution_param {
num_output: 20
kernel_size: 5
stride: 1
weight_filler {
type: "xavier"
}
bias_filler {
type: "constant"
}
}
bottom: "data"
top: "conv1"
}
该层承接data blob, 产生conv1 层. 该层共产生20个channel, 每个channel的kernel size = 5, stride = 1. 在该层, 每一个filter可以随机初始化weight和bias, 对于权重, 我们采用"xavier"算法, 根据输入和输出神经元的个数来决定权重初始化的尺度. 对于bias, 我们简单的采用固定值来初始化, 默认值为0.
'lr_mult's 是该层可学习参数的学习率. 在这里, 我们设置权值的学习率为solver中指定的学习率, bias的学习率设置为2倍solver中指定的学习率. 这样的设置通常会有比较好的聚合率.
- pooling layer
pooling layer的定义相对较简单
layer {
name: "pool1"
type: "Pooling"
pooling_param {
kernel_size: 2
stride: 2
pool: MAX
}
bottom: "conv1"
top: "pool1"
}
上面的设置表示, 我们将采用max pooling, pool kernel size = 2, stride = 2 (相邻的pooling region 不会重叠)
- 第二个conv 和pooling layer的解释和上面的解释大同小异.
- fully connected layer
layer {
name: "ip1"
type: "InnerProduct"
param { lr_mult: 1 }
param { lr_mult: 2 }
inner_product_param {
num_output: 500
weight_filler {
type: "xavier"
}
bias_filler {
type: "constant"
}
}
bottom: "pool2"
top: "ip1"
}
上面的语法定义了一个全连接层(或者叫innerProduct 层),该层具有500个输出, 其他的选项和之前介绍的类似.
- Relu 层
layer {
name: "relu1"
type: "ReLU"
bottom: "ip1"
top: "ip1"
}
ReLU 是对逐个元素的操作(每个输入都要进行relu), 因此我们可以采用"in-place"内置操作的方式来节省内存, 具体就是给才曾的bottom 和top blobs 相同的名字.
- ReLU之后, 另一个inner product层:
layer {
name: "ip2"
type: "InnerProduct"
param { lr_mult: 1 }
param { lr_mult: 2 }
inner_product_param {
num_output: 10
weight_filler {
type: "xavier"
}
bias_filler {
type: "constant"
}
}
bottom: "ip1"
top: "ip2"
}
- Loss Layer
终于写到了这层
layer {
name: "loss"
type: "SoftmaxWithLoss"
bottom: "ip2"
bottom: "label"
}
softmax loss 层同时实现了softmax 和multinomial logical loss(节省时间改善数值稳定性). 该层接收两个blob, 第一个是prediction,第二个是label(由第一层data layer 提供). 该层不产生任何输出, 他的作用在于计算loss function value, 当 back propagation开始时report it. 同时, 开始计算相对于上一层"ip2"的梯度. (initiates the gradient with respect to 'ip2'.)
-
Additional Notes: '定义层'的规则
层的定义可以包含一些规则, 可以根据这些规则来确定是否以及如何来进行某些特定的操作.
举例如下:
layer {
// ...layer definition...
include: { phase: TRAIN }
}
对于这个规则, 可以根据网络的状态来判定是否将整层包含入内. 具体来讲, 该层只有在训练阶段才会被包含如网络. 如果将'TRAIN' 改为'TEST',则该层只会在训练阶段被包含入网络内.
默认情况下是没有layer rules的, 一个定义好了的层会一直被包含在网络里. 因此, 'lenet_train_test.prototxt' 有两个'DATA'层(不同的'batch size'), 一个用于训练阶段,一个用于测试阶段.
同样的, 'lenet_train_test.prototxt' 定义了一个只有在测试阶段会被包含入网络的'Accuracy' 层, 该层会在测试阶段,每100iteration汇报一次网络accuracy.
Solver的定义
# The train/test net protocol buffer definition
net: "examples/mnist/lenet_train_test.prototxt"
# test_iter specifies how many forward passes the test should carry out.
# In the case of MNIST, we have test batch size 100 and 100 test iterations,
# covering the full 10,000 testing images.
test_iter: 100
# Carry out testing every 500 training iterations.
test_interval: 500
# The base learning rate, momentum and the weight decay of the network.
base_lr: 0.01
momentum: 0.9
weight_decay: 0.0005
# The learning rate policy
lr_policy: "inv"
gamma: 0.0001
power: 0.75
# Display every 100 iterations
display: 100
# The maximum number of iterations
max_iter: 10000
# snapshot intermediate results
snapshot: 5000
snapshot_prefix: "examples/mnist/lenet"
# solver mode: CPU or GPU
solver_mode: GPU
Training and Testing the Model
网络的训练相对简单, 当你写好了network definition protobuf 和 solver protobuf 文件之后, 运行'train_lenet.sh'就可以了. 或者直接运行一下命令:
cd $CAFFE_ROOT
./examples/mnist/train_lenet.sh
'train_lenet.sh' 是一个简单的脚本, 简单解释之: 主要用于训练的工具是'caffe' 以 'train' 和 solver protobuf 文件作为它的参数.
当你运行之后, 你会看到大量的信息飞过, 如:
I1203 net.cpp:66] Creating Layer conv1
I1203 net.cpp:76] conv1 <- data
I1203 net.cpp:101] conv1 -> conv1
I1203 net.cpp:116] Top shape: 20 24 24
I1203 net.cpp:127] conv1 needs backward computation.
这样的信息是初始化信息, 它告诉你每一层的细节: 链接情况, 输出的尺寸, 这些信息有助于debug. 初始化之后, 网络开始训练:
I1203 net.cpp:142] Network initialization done.
I1203 solver.cpp:36] Solver scaffolding done.
I1203 solver.cpp:44] Solving LeNet
基于solver的设置, 系统将在每100 iteration 打印出 training loss, 每500iteration测试网络. 你会看到类似的信息:
I1203 solver.cpp:204] Iteration 100, lr = 0.00992565
I1203 solver.cpp:66] Iteration 100, loss = 0.26044
...
I1203 solver.cpp:84] Testing net
I1203 solver.cpp:111] Test score #0: 0.9785
I1203 solver.cpp:111] Test score #1: 0.0606671
对于训练的每个iteration, 'lr' 是该次iteration的学习率, 'loss' 是训练的loss. 对于测试阶段的输出, score 0 是accuracy, score 1 是测试的loss function.
数分钟后, 训练完成.
I1203 solver.cpp:84] Testing net
I1203 solver.cpp:111] Test score #0: 0.9897
I1203 solver.cpp:111] Test score #1: 0.0324599
I1203 solver.cpp:126] Snapshotting to lenet_iter_10000
I1203 solver.cpp:133] Snapshotting solver state to lenet_iter_10000.solverstate
I1203 solver.cpp:78] Optimization Done.
最终的模型, 会存储为一个二进制protobuf文件:
lenet_iter_10000
这个文件,可以作为训练好的模型在你的应用中部署.
How about GPU training?
其实刚才一直使用的是GPU训练. 实际上, 如果你想要在CPU上训练, 只需要修改'lenet_solver.prototxt'的对应行即可.
# solver mode: CPU or GPU
solver_mode: CPU
MNIST是一个比较小的数据集, 因此在GPU上进行训练并没有多少提高(由于GPU内部通信的开支). 在更大型的数据集上采用更复杂的模型进行训练时, 例如 ImageNet, 计算时间将会得到更大的提升.
如何在固定的阶段降低学习率?
Look at lenet_multistep_solver.prototxt
