Keras-mnist
Keras-mnist111
日期:2016 /06 /03 15:15:52
版本 python ??
!/usr/bin/python
-- coding:utf-8 --
fromfutureimport print_function
import numpy as np
np.random.seed(1337) # for reproducibility
from keras.datasets import mnist
from keras.models import Sequential
from keras.layers.core import Dense, Dropout, Activation
from keras.optimizers import SGD, Adam, RMSprop
from keras.utils import np_utils
batch_size = 128
nb_classes = 10
nb_epoch = 1
初始化一个模型
model = Sequential()
输入向量是784维度的，第一个影藏层是1000个节点，init代表的是链接矩阵中的权值初始化
'''
init 初始化参数:
uniform(scale=0.05) :均匀分布，最常用的。Scale就是均匀分布的每个数据在-scale~scale之间。此处就是-0.05~0.05。scale默认值是0.05；
lecun_uniform:是在LeCun在98年发表的论文中基于uniform的一种方法。区别就是lecun_uniform的scale=sqrt(3/f_in)。f_in就是待初始化权值矩阵的行。
normal：正态分布（高斯分布）。
identity ：用于2维方阵，返回一个单位阵
orthogonal：用于2维方阵，返回一个正交矩阵。
zero：产生一个全0矩阵。
glorot_normal：基于normal分布，normal的默认 sigma^2=scale=0.05，而此处sigma^2=scale=sqrt(2 / (f_in+ f_out))，其中，f_in和f_out是待初始化矩阵的行和列。
glorot_uniform：基于uniform分布，uniform的默认scale=0.05，而此处scale=sqrt( 6 / (f_in +f_out)) ，其中，f_in和f_out是待初始化矩阵的行和列。
he_normal：基于normal分布，normal的默认 scale=0.05，而此处scale=sqrt(2 / f_in)，其中，f_in是待初始化矩阵的行。
he_uniform：基于uniform分布，uniform的默认scale=0.05，而此处scale=sqrt( 6 / f_in)，其中，f_in待初始化矩阵的行。
'''
model.add(Dense(1000, input_dim=784, init='glorot_uniform'))
model.add(Activation('relu')) # 激活函数是tanh
model.add(Dropout(0.5)) # 采用50%的dropout
第二个隐藏层是500个节点
model.add(Dense(500, init='glorot_uniform'))
model.add(Activation('relu'))
model.add(Dropout(0.5))
第三层是输出层，输出结果是10个类别，所以维度是10
model.add(Dense(10, init='glorot_uniform'))
model.add(Activation('softmax')) # 最后一层用softmax
设定参数
lr表示学习速率，decay是学习速率的衰减系数(每个epoch衰减一次)，momentum表示动量项，Nesterov的值是False或者True，表示使不使用Nesterov momentum。
sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9,nesterov=True)
loss代表的是损失函数, optimizer代表的是优化方法, class_mode代表
使用交叉熵作为loss函数，就是熟知的log损失函数
model.compile(loss='categorical_crossentropy',optimizer=sgd, class_mode='categorical')
使用Keras自带的mnist工具读取数据（第一次需要联网）
(X_train, y_train), (X_test, y_test) = mnist.load_data()
由于输入数据维度是(num, 28, 28)，这里需要把后面的维度直接拼起来变成784维
X_train = X_train.reshape(X_train.shape[0],X_train.shape[1]X_train.shape[2])
X_test = X_test.reshape(X_test.shape[0], X_test.shape[1]X_test.shape[2])
X_train = X_train.astype('float32')
X_test = X_test.astype('float32')
X_train /= 255
X_test /= 255
print(X_train.shape[0], 'train samples')
print(X_test.shape[0], 'test samples')
这里需要把index转换成一个one hot的矩阵
Y_train = (np.arange(10) == y_train[:,None]).astype(int)
Y_test = (np.arange(10) == y_test[:,None]).astype(int)
'''
convert class vectors to binary class matrices
Y_train = np_utils.to_categorical(y_train, nb_classes)
Y_test = np_utils.to_categorical(y_test, nb_classes)
'''
开始训练，这里参数比较多。batch_size就是batch_size，nb_epoch就是最多迭代的次数， shuffle就是是否把数据随机打乱之后再进行训练
verbose是屏显模式，官方这么说的：verbose: 0 for no logging to stdout, 1 for progress bar logging, 2 for one log line per epoch.
就是说0是不屏显，1是显示一个进度条，2是每个epoch都显示一行数据
show_accuracy就是显示每次迭代后的正确率
validation_split就是拿出百分之多少用来做交叉验证
model.fit(X_train, Y_train, batch_size=batch_size, nb_epoch=nb_epoch,shuffle=True, verbose=1, show_accuracy=True, validation_split=0.3)
print ('test set')
score = model.evaluate(X_test, Y_test, batch_size=200,show_accuracy=True, verbose=1)
print('Test score:', score[0])
print('Test accuracy:', score[1])
