神经网络基础

1.人工神经网络
人工神经网络是一种分层计算模型。通过反向传播的梯度下降实现网络参数的学习。
2.神经元与激活函数
3.反向传播
4.万能网络
只要有足够的神经元。具有两个隐藏层的神经网络可以拟合任意函数。

Tensorflow核心应用

1.张量
一个张量由m^n个数值分量构成，m是维度数，n是阶数。
2.开发架构
3.数据管理
4.评估器
5.图与会话
6.逐代训练
7.图与统计可视化

卷积神经网络

1.深度学习原因
知识存在层次，解决梯度消失和梯度爆炸。
2.CNN结构发展
输入层-卷积层-池化层-全连接层-输出层
3.卷积层
卷积层具备知识分层学习的能力，寻找的参数降低。
4.池化层
进一步简化卷积层计算的数据，减少神经元数量。
5.ReLU与Softmax
ReLU的倒数值固定为1，解决梯度中止问题。
Softmax用于输出层，给输出值做归一化处理。
6.Inception与ResNet
是最新的CNN网络架构。

优化

1.批次规范化
规范化是样本数据预处理的一个步骤。
规范化的需求实际来自大多数机器学习模型都使用欧氏距离衡量样本间的关系。如果不做规范化，算法会倾向于学习取值范围大的维度。样本数据会形成非均匀的Hessian矩阵。梯度过程会多走弯路甚至迷路。
2.剪枝
用于增强鲁棒性，使模型不对某个特征特别敏感。
3.算法选择
Momentum SGD，自适应类算法

循环神经网络与递归神经网络

1.循环神经网络
用于处理时间序列特征，适用于不能固定数量维度进行特征建模的场景。
2.长短期记忆（LSTM）
利用一个长期有效的短期记忆在时间轴上传递状态，该状态不仅传递给下一个时间节点，还能在之后的一段时间里长期有效。
3.递归神经网络
用于为不定特征维度数据进行建模的神经网络结构。递归神经网络用于为树形数据建模。
递归网络预测效果好于循环网络，更容易训练。循环网络比递归网络有更多实际应用。

前沿精选

1.物件检测模型
2.密连卷积网络
3.胶囊网络