人工神经网络的分类模型

姓名：高强     学号：17011210057

转载自：blog.csdn.net/fengbingchun/article/details/50274471，有删改

【嵌牛导读】：本文主要介绍神经网络的分类以及神经网络模型

【嵌牛鼻子】：神经网络，神经网络模型

【嵌牛提问】：神经网络的分类以及神经网络模型都有那些？

【嵌牛正文】：

1.  人工神经网络的分类

按性能分：连续型和离散型网络，或确定型和随机型网络。

按拓扑结构分：前向网络和反馈网络。

前向网络有自适应线性神经网络(AdaptiveLinear，简称Adaline)、单层感知器、多层感知器、BP等。

前向网络，网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。

反馈网络有Hopfield、Hamming、BAM等。

反馈网络，网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。

按学习方法分：有教师(监督)的学习网络和无教师(监督)的学习网络。

按连接突触性质分：一阶线性关联网络和高阶非线性关联网络。

2.  生物神经元模型

人脑是自然界所造就的高级动物，人的思维是由人脑来完成的，而思维则是人类智能的集中体现。人脑的皮层中包含100亿个神经元、60万亿个神经突触，以及他们的连接体。神经系统的基本结构和功能单位就是神经细胞，即神经元，它主要由细胞体、树突、轴突和突触组成。人类的神经元具备以下几个基本功能特性：时空整合功能；神经元的动态极化性；兴奋与抑制状态；结构的可塑性；脉冲与电位信号的转换；突触延期和不延期；学习、遗忘和疲劳；神经网络是由大量的神经元单元相互连接而构成的网络系统。

3.  人工神经网络模型

人工神经网络，使通过模仿生物神经网络的行为特征，进行分布式并行信息处理的数学模型。这种网络依靠系统的复杂度，通过调整内部大量节点之间相互连接的关系，从而达到信息处理的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入输出数据，分析两者的内在关系和规律，最终通过这些规律形成一个复杂的非线性系统函数，这种学习分析过程被称作“训练”。神经元的每一个输入连接都有突触连接强度，用一个连接权值来表示，即将产生的信号通过连接强度放大，每一个输入量都对应有一个相关联的权重。处理单元将经过权重的输入量化，然后相加求得加权值之和，计算出输出量，这个输出量是权重和的函数，一般称此函数为传递函数。

4.  感知器模型

感知器模型是美国学者罗森勃拉特（Rosenblatt）为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，它把神经网络的研究从纯理论探讨引向了从工程上的实现。

Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络，称为单层感知器。

单层感知器模型的学习算法，算法思想：首先把连接权和阈值初始化为较小的非零随机数，然后把有n个连接权值的输入送入网络，经加权运算处理，得到的输出如果与所期望的输出有较大的差别，就对连接权值参数按照某种算法进行自动调整，经过多次反复，直到所得到的输出与所期望的输出间的差别满足要求为止。

线性不可分问题：单层感知器不能表达的问题被称为线性不可分问题。 1969年，明斯基证明了“异或”问题是线性不可分问题。

线性不可分函数的数量随着输入变量个数的增加而快速增加，甚至远远超过了线性可分函数的个数。也就是说，单层感知器不能表达的问题的数量远远超过了它所能表达的问题的数量。

多层感知器：在单层感知器的输入部分和输出层之间加入一层或多层处理单元，就构成了二层或多层感知器。

在多层感知器模型中，只允许某一层的连接权值可调，这是因为无法知道网络隐层的神经元的理想输出，因而难以给出一个有效的多层感知器学习算法。

多层感知器克服了单层感知器的许多缺点，原来一些单层感知器无法解决的问题，在多层感知器中就可以解决。例如，应用二层感知器就可以解决异或逻辑运算问题

5.  反向传播模型

反向传播模型也称B-P模型，是一种用于前向多层的反向传播学习算法。之所以称它是一种学习方法，是因为用它可以对组成前向多层网络的各人工神经元之间的连接权值进行不断的修改，从而使该前向多层网络能够将输入它的信息变换成所期望的输出信息。之所以将其称作为反向学习算法，是因为在修改各人工神经元的连接权值时，所依据的是该网络的实际输出与其期望的输出之差，将这一差值反向一层一层的向回传播，来决定连接权值的修改。

B-P算法的网络结构是一个前向多层网络。它是在1986年，由Rumelhant和Mcllelland提出的。是一种多层网络的“逆推”学习算法。其基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经隐层逐层处理后，传向输出层。若输出层的实际输出与期望输出不符，则转向误差的反向传播阶段。误差的反向传播是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行。权值不断调整过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可以接受的程度，或进行到预先设定的学习次数为止。

反向传播网络的学习算法：B-P算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能得到所期望的输出。

学习过程由正向传播和反向传播组成。

正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后求出它的输出结果。

反向传播用于逐层传递误差，修改神经元间的连接权值，以使网络对输入信息经过计算后所得到的输出能达到期望的误差要求