机器学习

分类

训练数据集

检验

如何检测行人在哪里

检测问题转化为分类问题

逻辑回归分类器

Softmax函数

数值大小对Softmax函数预测结果的影响

一位有效编码

交叉熵方法计算预测值与实际值的距离

Logistic多项式回归法

如何确定W，b：使正确分类距离小，错误分类距离大

罚函数

将机器学习问题转化为数值优化问题

梯度下降法

寻找最优解方法的好坏

标准化处理图片像素的基础数据

寻找好的初始化值：均值为0，标准差为sigma的高斯分布中随机抽样，sigma决定了初始点输出的数量级，sigma越大越武断，越小越谨慎，训练时先小后大比较合适

训练分类器的方法

不断使损失函数越来越小

随机梯度下降

保存梯度的移动平均，代替一批数据的方向

学习率衰减（接近目标的时候，步子要足够小）

模型的训练速度越快，并不一定越好

线性模型需要训练的参数过多

线性模型的局限性

线性模型的定义

线性模型的运算非常稳定

线性函数的导数为常量

无论你神经网络有多少层，输出都是输入的线性组合，与只有一个隐藏层效果相当，如何得到非线性函数

修正线性单元ReLU

简单的神经网络

反向传播法，比起正向传播，要花费2倍的运算与存储空间

为模型增加更深的层次，使得模型效果更好

通过让网络变深的方式，可以让模型参数变少，表现变好

更深的模型，往往会出现层次化的结构

防止过拟合的方法：早停

防止过拟合的方法：正则化

L2正则化：核心：在罚函数中加入额外一项，削减大权重的影响，但这样就不可避免的引入了新参数需要调试

丢弃法