DeepLearning【一】 最简单的神经网络

来记录一下建立第一个基于 TensorFlow 框架的神经网络的过程，由于是第一次练习，建立的神经网络比较简单，输入层有两个节点 x1 x2，隐藏层三个节点 a1 a2 a3，输出层一个节点 y。

建立过程可以分为三个步骤：

1. 定义神经网络的结构和前向传播的输出结果
2. 定义损失函数以及选择反向传播优化的算法
3. 生成会话，并且在训练数据上反复运行反向传播优化算法

以下就分这三部分记录

1. 定义神经网络的结构和前向传播算法的输出结果

import tensorflow as tf
from numpy.random import RandomState

# 定义训练数据 batch 的大小
batch_size = 8

# 定义神经网络的参数
# random_naomal 为正态分布，stddev 为标准差，seed 为随机种子
w1 = tf.Variable(tf.random_normal([2,3], stddev=1, seed=1))
w2 = tf.Variable(tf.random_normal([3,1], stddev=1, seed=1))

# 定义神经网络的输入层的输出的和输出层的输出
x = tf.placeholder(tf.float32, shape=(None, 2), name='x-input')
y_ = tf.placeholder(tf.float32, shape=(None, 1), name='y-input')

# 定义神经网络前向传播的过程
# matmul 为矩阵相乘
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)

2. 定义损失函数以及选择反向传播优化的算法

# 定义损失函数和反向传播的算法
cross_entropy = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y, 1e-10, 1.0)))
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)

# 通过随机数生成一个模拟数据集
rdm = RandomState(1) # 小于 1
dataset_size = 128
# 从 128 个随机数抽 2 个
X = rdm.rand(dataset_size, 2)
# 从 X 中 x1+x2 < 1 的随机数中 抽 2 个
Y = [[int(x1+x2 < 1)] for (x1, x2) in X]

3. 生成会话，并且在训练数据上反复运行反向传播优化算法

# 创建一个会话来运行 TensorFlow 程序
with tf.Session() as sess:
    init_op = tf.initialize_all_variables()
    # 初始化变量
    sess.run(init_op)
    
    # 打印在训练之前神经网络参数的值
    print sess.run(w1)
    print sess.run(w2)
    
    # 设定训练的轮数
    STEPS = 5000
    for i in range(STEPS):
        # 每次选取 batch_size 个样本进行训练
        start = (i * batch_size) % dataset_size
        end = min(start+batch_size, dataset_size)
        
        # 通过选取的样本训练神经网络并更新参数
        sess.run(train_step, feed_dict={x: X[start:end], y_ : Y[start:end]})
        
        if i % 1000 == 0:
            # 每隔一段时间计算在所有数据上的交叉熵并输出
            total_cross_entropy = sess.run(cross_entropy, feed_dict={x: X, y_: Y})
            # 打印交叉熵
            print ("经过 %d 次训练后，总交叉熵为 %g" % (i, total_cross_entropy))
        
    # 打印训练结束后神经网络参数的值
    print sess.run(w1)
    print sess.run(w2)

打印结果截图如下：

• 训练之前神经网络参数的值

  
  训练之前神经网络参数的值

• 交叉熵的变化

  
  交叉熵的变化
  

  可以发现，随着训练的进行，交叉熵在逐渐变小，说明预测的结果和真实的结果差距越来越小

• 训练之后神经网络参数的值

  
  训练之后神经网络参数的值
  

  训练后参数的值可以使神经网络能更好的拟合提供的训练数据

--

第一次写深度学习的代码，还有很多地方有疑问，以后会把学习过程中产生的疑问总结记录下来。