上一篇: 数据挖掘:理论与算法笔记3-从贝叶斯到决策树

4 神经网络: 巨量并行，智慧无限

这部分内容之前我已经写过不少文章对各节知识点基本完整覆盖，所以就偷懒不写什么内容了，只是简单提供一下之前写的相对应文章的链接出来。

4.1 智慧之源神经元

本节讲述人工神经元如何模拟人脑以及感知机原理，以前写过一篇文章人工神经元是如何模拟生物神经元的已经完整的覆盖了这部分内容。

4.2 会学习的神经元

本节讲述梯度下降和损失函数，看我以前写的这篇文章即可:
机器学习 - 我妈妈也能看懂的入门篇

4.3 从一个到一群

本节讲述多层感知机，隐藏层，Sigmoid激活函数，看我以前写的这两篇文章也足够了
手工打造神经网络: 透视分析
Sigmoid函数的求导证明

4.4 层次分明，责任到人

本节讲述反向传播和过拟合问题，同样还是下面这篇有详细解读
手工打造神经网络: 透视分析

4.5 管中窥豹，抛砖引玉

除了反向传播神经网络，本节又简介了神经网络的其它框架如Elman network, Hopfiled network。

Elman network最早是针对语音处理问题而提出来的，是一种典型的局部回归网络, 它可以看作是一个具有局部记忆单元和局部反馈连接的递归神经网络。

Hopfield network是具备联想记忆功能的离散型神经网络，比如玻尔兹曼机就像一个Hopfield network，可采用退火吉布斯抽样代替梯度下降。通过联想记忆，Hopfield network能在有噪音干扰的情况下依然对图像识别取得令人满意的结果。缺点是在求解非线性约束优化问题中容易陷入局部最优值。

最后还有些推荐阅读资料供参考:

上一篇: 数据挖掘:理论与算法笔记3-从贝叶斯到决策树