week18 单隐层神经网络拟合sinx

我已经忘了秋天，最凄美的时节，含着眼泪我与你分别
不想顾忌太多，冬天已经来了，凛冬的湖面望不见春色
时间是星星的眼睛，忘穿我的困惑

11.4 入门神经网络

介绍了神经网络的四要素：输入、权重、求和、激活函数，用很简单的神经网络（输入层、隐藏层、输出层各只有一个节点）进行了权值训练的数学推导，介绍了反向传播算法
部分内容转载自：零基础入门深度学习(3) - 神经网络和反向传播算法 - 作业部落 Cmd Markdown 编辑阅读器 https://www.zybuluo.com/hanbingtao/note/476663

神经元
sigmoid函数
神经网络
如上图，输入层有三个节点，我们将其依次编号为1、2、3；隐藏层的4个节点，编号依次为4、5、6、7；最后输出层的两个节点编号为8、9。因为我们这个神经网络是全连接网络，所以可以看到每个节点都和上一层的所有节点有连接。比如，我们可以看到隐藏层的节点4，它和输入层的三个节点1、2、3之间都有连接，其连接上的权重分别为w41 w42 w43，那么我们如何计算a4呢？
为了计算节点a4的输出值，我们必须先得到其所有上游节点（也就是节点1、2、3）的输出值。节点1、2、3是输入层的节点，所以，他们的输出值就是输入向量本身。按照上图画出的对应关系，可以看到节点1、2、3的输出值分别是x1 x2 x3 我们要求输入向量的维度和输入层神经元个数相同.
a4
同样，我们可以继续计算出节点a5、a6、a7的输出值。这样，隐藏层的4个节点的输出值就计算完成了，我们就可以接着计算输出层的节点8的输出值：
y1
神经网络的每一层的权重这些参数是神经网络要学习的东西，而层数、层与层之间的连接方式，这些事先由人为给定的量，称为超参数。

神经网络的计算方法：对于每一层而言，对输入向量x（向量）左乘一个权重矩阵W，得到一个新的向量，再对这个向量逐元素应用激活函数，得到该层的输出。

11.6

反向传播算法

假设每个训练样本为(x（向量）, t（向量）) 其中x为样本的特征，t为样本的目标值

神经网络
沿着梯度方向是函数在该点增长最快的方向，反之沿着负梯度方向就是下降最快的方向，这也是神经网络反向传播算法基于负梯度下降的依据。
梯度方向
为什么叫反向传播算法？
要计算每个节点的误差项，就必须先计算与之相连的下一个结点的误差项，这一切不断往下一个节点进行追溯，直到输出层。也就是必须要先计算输出层的误差项，再逐个计算隐藏层，不断更新。
推导：https://www.zybuluo.com/hanbingtao/note/476663应用链式法则进行推导

向量化编程

11.7

很开心，和小铁憨煲了一个多小时的电话粥，互相嫌弃了五十分钟哈哈
又在开会和回来的路上和班长聊了很多很多，又写了学习心得体会，今天还是很充实啊

11.8

为什么神经网络可以拟合任意的函数？
为什么模拟异或运算就代表着能够模拟任意的逻辑函数？
tip：新的surfacepro到了，但是键盘老是失灵，看几分钟代码再敲就会失灵并伴随显示启用自动旋转。哇原来是接触不良切换到平板模式了

神经元
[https://zhuanlan.zhihu.com/p/29633019]知乎专栏神经网络详解
[https://www.cnblogs.com/ms-uap/p/10031484.html]博客园神经网络详解
[https://www.bilibili.com/video/av34151455?p=4]CMU深度学习导论

11.9-11 神经网络拟合

网络结构

 import random  
 import numpy as np  
 import matplotlib.pyplot as plt  
 import time  


def sigmoid(x):  
    return 1 / (1 + np.exp(-x))  

def target(x):  
    y = 1 / np.sin(x) + 1 / np.cos(x)  
    return y  

class Network():  

  def __init__(self, hidden_amount, iteration, learning_rate, max_error, x_min, x_max, x_amount):  
    self.hidden_amount = hidden_amount  
    self.iteration = iteration  
    self.learning_rate = learning_rate  
    self.max_error = max_error  
    self.W1 = np.random.random((self.hidden_amount, 1))  
    self.B1 = np.random.random((self.hidden_amount, 1))  
    self.W2 = np.random.random((1, self.hidden_amount))  
    self.B2 = np.random.random((1, 1))  
    self.X = np.linspace(x_min, x_max, x_amount)  
    self.T = target(self.X)  
    self.Y = np.zeros((x_amount, 1))  
    self.E = np.zeros((self.iteration, 1))  

  def hidden_layer(self):  
    error = 0  
    for i in range(len(self.X)):  
        x = self.X[i]  
        hidden_input = np.dot(x, self.W1) - self.B1  
        hidden_output = np.array([sigmoid(y) for y in hidden_input])  
        self.Y[i] = np.dot(self.W2, hidden_output) - self.B2  
        e = self.Y[i] - self.T[i]  
        error = error + 0.5 * e ** 2  
        dB2 = -1 * self.learning_rate * e  
        dW2 = self.learning_rate * e * np.transpose(hidden_output)  
        dB1 = np.transpose(self.W2) * hidden_output * (1 -hidden_output) * (-1) * e *   
         self.learning_rate  
        dW1 = np.transpose(self.W2) * hidden_output * (1 - hidden_output) * x * e * self.learning_rate  
        self.W1 -= dW1  
        self.W2 -= dW2  
        self.B1 -= dB1  
        self.B2 -= dB2  
    return error  

  def iterate(self):  
    start = time.time()  
    for i in range(self.iteration):  
        e = self.hidden_layer()  
        self.E[i] = e  
        if e <= self.max_error:  
            break  
    print("iteration:", i, "\nerror:", e, "\ntime:", time.time() - start)  
    plt.title('Blue:Training    Red:Simulating')  
    plt.plot(self.X, self.T, color='blue')  
    plt.plot(self.X, self.Y, color='red')  
    plt.show()  
    xx = np.linspace(0, self.iteration, self.iteration)  
    plt.title('Error changing')  
    plt.plot(xx, self.E, color='pink')  
    plt.show()  


a = Network(hidden_amount = 2, iteration = 10000, learning_rate = 0.005, max_error = 0.001, x_min= -1,  x_max = 3, x_amount = 40)  
a.iterate() 

可以sigmoid更换其他的激活函数，可以target更换其他的目标函数

拟合
损失
拟合2
损失2

收获

1. 单隐层的神经网络，在神经元足够多且参数合适的情况下，的确能够在我们可接受的误差范围内拟合连续函数
2. 在其它参数不变的情况下，增加迭代次数能够明显地提升拟合的效果
3. 增加神经元数目时，拟合效果的上限会提高，但一般需要增加迭代次数
4. 对于overflow溢出问题，因为定义的sigmoid函数为 1 / (1 + exp(-x))
   当x过小时，e的-x次方会太大，当x过大时，e的-x次方会太趋于0
   可以增加限制比如当x < -30 时，返回值为9e-15
   当x > 30 时，返回值为 1 – 9e-15
5. 对于周期函数，可以在单周期内进行拟合，以减小网络负载
6. 对于运算问题，若调用numpy进行矩阵运算，完成万次迭代需要十秒级，而若采用for循环进行矩阵内元素运算，完成万次迭代需要分钟级，矩阵运算快3倍以上
7. 若是目标函数的峰值过大，单隐层神经网络会因为附近训练样本过少而不能很好的拟合，若是想达到较好的效果至少需要十万级的迭代次数，可以采取拟合sinx和cosx，进而计算出1/sinx + 1/cosx，以减少迭代次数