人工神经网络与人脸识别（大纲）

一、神经网络：

（1）M-P神经元模型：

西瓜书P97页图5.1

（2）典型的神经元激活函数：

西瓜书P98图5.2

二、感知机与多层网络（由两层神经元组成）

（1）感知机基本结构 = M-P神经元 + Sgn函数

Tom M.Mitchell著《机器学习》P63图4-2

（2）感知机的表征能力：

西瓜书P100图5.4

二、多层网络

（3）delta法则与（标准）梯度下降算法&随机梯度下降算法：

1)标准(批量)梯度下降算法：最小化所有训练样本的损失函数，使得最终求得的解为全局最优解,即求解的参数为使风险函数最小。

Tom M.Mitchell著《机器学习》P66

（2）随机梯度下降算法：最小化每条样本的损失函数，虽然不是每次迭代的方向均向着全局最优方向，但大的整体方向是全局最优解的方向，最终结果往往在全局最优解附近，所以结果可能有多个 (Ps：线性支持向量机可解决上例有多个解的问题）

Tom M.Mitchell著《机器学习》P65

三、误差逆传播算法（error BackPropagation，简称BP算法）