2019-04-07派森学习第139天

今天自己动手写一个简单的神经网络程序。

从中找到自己哪些还掌握的不够好。

1 先定义添加层

刚开始不会写添加层函数。

不会写添加层函数

添加层函数包括：输入数据inputs，输入数据的维度in_size，输出数据的维度out_size和激活函数activation_function。

在写添加层函数的时候，出现了3个错误。

添加层出现的错误

1a：权重weights是将要建立的模型的输入数据的权重系数，需要用tf的Variable()方法定义，tf.random_normal()函数用于从服从指定正太分布的数值中取出指定个数的值，通过[in_size,out_size]确定产生的weights的尺寸。权重weights的数值相当于通过标准正态分布的随机数随机产生。

1b：偏差biases不是设置成随机产生的，而是初始化设置为zeros，通过[1,out_size]指定biases的尺寸。[1,out_size]表示biases在一开始知识一个0，到神经网络结束之后将会成为一个out_size尺寸的值。

1c：在判断是否指定了激活函数时，本来应该是is，错写成了==。但是用==也没出现崩溃，只是在下面调用添加层函数的时候，出现了黄色阴影。

用==判断时的黄色阴影

改成用is判断，黄色阴影就会消失。那么is和==具体有什么区别呢？==比较两个对象的值是否相等，而is比较的是两个对象的id（对象的内存地址）是否相等。详见下图：

is和==

2 设置训练数据

因为此次神经网络目的是训练出y=x^2-0.5这个函数模型。

所以先定义x轴的数据为np.linspace(-1,1,300)，意思是在区间-1到1之间，均匀取出300个点作为输入数据x_data的值。[:,np.newaxis]作用是将行数组变为列数组。

y_data的值就设置为x^2-0.5加上噪声noise，这样就更像正常的自然数据了。

设置训练数据

3 定义数据节点

现在开始才真正是进入了神经网络，通过tf中的placeholder()方法定义xs和ys数据节点。注意次数用到的placeholder要和之后sess中的feed_dict绑定了，也就是说出现了placeholder，则之后一定要用到feed_dict。

placeholder中的[None,1]，None表示行数任意，列数为1。

placeholder

4 建立神经层

建立隐藏层：先调用添加层函数，输入输入数据xs，设置输入的尺寸，输出的尺寸和激活函数。

建立预测层：再调用添加层函数，此时输入数据是上边的隐藏层的输出，设置输入的尺寸，输出的尺寸和激活函数。

调用添加层函数

5 定义损失loss表达式

一开始不会定义loss的表达式。

loss等于预测值prediction和输入值xs的差值的平方，然后相加起来，最后再求平均。

loss目标函数

6 选择合适的优化器Optimizer

tf中有很多的优化器，本次神经网络模型暂且选择梯度下降优化器，并设置学习效率为0.1，最终使loss最小。

Optimizer

7 初始化打开“开关”

上面的所有程序只是搭建了整个系统，

就像造好了机器，但是还没有打开开关，机器还未运行。

初始化开关

现在做好了一切开机前的准备，并打开了开关，机器开始运行。

8 设置定时关闭

机器开始运行后，给机器设置一个定时关闭，比如，此处设置了range(5000)，可以看做是让机器在5000s后停止运行。

设置定时关闭

此处在写程序的时候，把目标函数写错成了train_step，结果打印出来全是None值。

指针的目标错误

修改为loss之后，可以正常打印出loss的数值：

打印出loss的数值

好了，至此，一个简单的神经网络模型搭建完毕，并且成功训练了模型。

源码如图：

神经网络