2018-12-20当我们在聊机器学习的时候 我们到底在聊什么

因为是初识 所以尽量不去涉及公式 只讲概论

---

一：例子引入

1、朴素贝叶斯 (概率模型) 

2、感知机(非概率模型) https://blog.csdn.net/robinvista/article/details/53235965

有个共同点：就是伴随一些损失和误差(感知机的误差不用说了 贝叶斯估计的误差产生在虽然我们算出75%的概率是某一类但是并不能完全肯定 但还是把他算在了那一类 因为这样误差最小)

引出机器学习的两个要素：模型 和 策略

---

二、引入理论

1、框架

2、策略

定义损失函数 及假如我们预测错误所要面临的损失

但这些都是对单个点进行预测后的损失 我们需要去计算每个点的损失并求一个期望损失(及加权平均损失)

3、引入期望风险函数

期望风险函数 -> 经验风险函数 （这里感受一下上图中如何用暴力求解拟合这条直线）

->  结构风险函数

4、算法

最小二乘法 

极大似然法

感受过暴力求解之后 引入牛顿法(参数步长) 作用就是如何快速的找到这个参数并且尽量不跳过他 比如我步长取的是0.1 但其实是在0.01级别时找到最优解

这就是我们平常听到的梯度下降法

这个地方回顾机器学习的三要素

三、模型评估

训练集 和 测试集 

过拟合的图回顾

因为训练集训练的过好 反而会影响测试集的正确率

数据量比较小的话需要交叉验证

四、感悟

监督学习的三要素一讲完 机器学习的框架就讲完了 所谓的各式各样的回归模型 分类模型 无非是在非概率模型和概率模型中打转 策略的核心思想也就是规则风险函数最小 算法的实现也有了成熟的数值计算方法(最小二乘 牛顿法 极大似然)

那么留给算法工程师的工作也就只有模型的选择和参数的调节了 （当然这是建立在了解模型原理的基础上 但是他始终是逃不出框架的）

等等 数据哪里来？来自于业务

数据和特征决定了机器学习的上限

算法只是逼近这个上限

好的模型需要不断的去了解业务 发现最好的特征

**特征工程