tensorflow-Sequential、compile、fi
2020-05-26 本文已影响0人
tu7jako
1. tf.keras.models.Sequential([网络结构]) # 描述各层网络
Sequentail()可以认为是个容器，这个容器里封装了一个神经网络结构。在Sequential中要描述从输入层到输出层每一层的网络结构。
每一层的网络结构可以是
- 拉直层： tf.keras.layers.Flatten() ，这一层不含计算，只是形状转换，把输入特征拉直，变成一维数组
-
全连接层： tf.keras.layers.Dense(神经元个数，activation=“激活函数”，kernel_regularizer=哪种正则化), 这一层告知神经元个数、使用什么激活函数、采用什么正则化方法
- 激活函数可以选择relu, softmax, sigmoid, tanh等
- 正则化可以选择 tf.keras.regularizers.l1(), tf.keras.relularizers.l2()
- 卷积神经网络层：tf.keras.layers.Conv2D(filters=卷积核个数, kernel_size=卷积核尺寸, strides=卷积步长， padding="valid" or "same")
- 循环神经网络层：tf.keras.layers.LSTM()
2. model.compile(optimizer=优化器，loss=损失函数，metrics=["准确率"])
在这里告知训练时选择的优化器、损失函数、和评测指标。
这些参数都可以使用字符串形式或函数形式
-
optimizer: 引导神经网络更新参数
- sgd or tf.keras.optimizer.SGD(lr=学习率，momentum=动量参数)
- adagrad or tf.keras.optimizer.Adagrad(lr=学习率)
- adadelta or tf.keras.optimizer.Adadelta(lr=学习率)
- adam or tf.keras.optimizer.Adam(lr=学习率， beta_1=0.9, beta_2=0.999)
-
loss: 损失函数
- mes or tf.keras.losses.MeanSquaredError()
- sparse_categorical_crossentropy or tf.keras.SparseCategoricalCrossentropy(from_logits=False)（是原始输出还是经过概率分布）
-
metrics：评测指标
- accuracy：y_ 和 y 都是数值，如y_=[1] y=[1]
- categorical_accuracy: y_和y都是独热码（概率分布），如y_=[0, 1, 0], y=[0.256, 0.695, 0.048]
- sparse_categorical_accuracy: y_是数值，y是独热码（概率分布）,如y_=[1], y=[0.256, 0.695, 0.048]
3. model.fit(训练集的输入特征，训练集的标签，batch_size= 每次喂入神经网络的样本数, epochs=迭代多少次数据集, validation_data=(测试集的输入特征，测试集的标签，), validation_split=从训练集划分多少比例给测试集，validation_freq=多少次epoch测试一次)
4. model.summary()
打印出网络的结构和参数统计
5. 示例：鸢尾花分类
import tensorflow as tf
from sklearn import datasets
import numpy as np
# 载入数据（训练集和测试集在训练时按比例划分，此处暂无划分）
x_train = datasets.load_iris().data
y_train = datasets.load_iris().target
# 用相同的随机种子让特征集和标签集乱序并一一对应
np.random.seed(123)
np.random.shuffle(x_train)
np.random.seed(123)
np.random.shuffle(y_train)
# 搭建神经网络结构：3个神经元的全连接层，采用softmax激活函数，
# l2正则化防治过拟合
model = tf.keras.models.Sequential([
tf.keras.layers.Dense(3, activation='softmax',
kernel_regularizer=tf.keras.regularizers.l2())
])
"""
# class写法
from tensorflow.keras import Model
from tensorflow.keras.layers import Dense
class IrisModel(Model):
def __init__(self):
super(IrisModel, self).__init__()
self.d1 = Dense(3, activation='softmax',
kernel_regularizer=tf.keras.regularizers.l2())
def call(self, x):
y = self.d1(x)
return y
model = IrisModel()
"""
# 配置训练方法：采用SGD优化器，SparseCategoricalCrossentropy损失函数（由于采
# 用了softmax作为激活函数，输出的是概率而不是原始分布，所以from_logits
# 为False）, sparse_categorical_accuracy作为评测指标（由于鸢尾花标签
# 为[0, 1, 2], 而网络结构输出的为概率分布）
model.compile(optimizer=tf.keras.optimizers.SGD(lr=0.1),
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
metrics=["sparse_categorical_accuracy"])
# 训练模型：将20%的数据用于测试，每次喂入32组数据，数据集循环
# 迭代500次，每迭代20次训练集要在测试集中验证一次准确率
model.fit(x_train, y_train, batch_size=32, epochs=500,
validation_split=0.2, validation_freq=20)
# 打印出网络结构和参数统计
model.summary()
运行结果：
Epoch 498/500
4/4 [==============================] - 0s 0s/step - loss: 0.3155 - sparse_categorical_accuracy: 0.9833
Epoch 499/500
1/4 [======>.......................] - ETA: 0s - loss: 0.2978 - sparse_categorical_accuracy: 1.0000
4/4 [==============================] - 0s 2ms/step - loss: 0.3251 - sparse_categorical_accuracy: 0.9750
Epoch 500/500
1/4 [======>.......................] - ETA: 0s - loss: 0.3148 - sparse_categorical_accuracy: 0.9688
4/4 [==============================] - 0s 10ms/step - loss: 0.3210 - sparse_categorical_accuracy: 0.9833 - val_loss: 0.4276 - val_sparse_categorical_accuracy: 0.9000
Model: "sequential"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
dense (Dense) multiple 15
=================================================================
Total params: 15
Trainable params: 15
Non-trainable params: 0
_________________________________________________________________
