2019-10-04 学习极大似然估计与优化理论
2019-10-04 本文已影响0人
小郑的学习笔记
-
主要推导了一个公式
推导MLE与LSE.jpeg
即用极大似然估计（MLE）的角度去解多元线性回归 其结果与最小二乘(LSE)解的结果是一样的，这一点我觉得很神奇。
可以看这个解释例子
https://www.cnblogs.com/little-YTMM/p/5700226.html
2。 学习数值分析，学习了两种优化，
无约束最优化和有约束最优化。
无约束最优化主要有 梯度下降法 牛顿法
梯度下降法在接近极值的时候会产生震荡的情况
牛顿法二阶收敛所以在震荡的情况比梯度下降法好，但是在较远的情况下，牛顿法可能不收敛，牛顿法是用泰勒公式展开到二阶。
可以参考这个文章
https://www.jianshu.com/p/d892d0d13b6d
- 有约束最优化主要是 拉格朗日乘子法 其中分为等式约束与不等式约束
不等式约束涉及到 kkt 条件
参考学习这个
https://www.cnblogs.com/liaohuiqiang/p/7805954.html
