MLE最大似然估计

MLE:根据若干已知的X，y的训练集，找到一组w，使得x作为已知条件下y发生的概率最大

第一步：

对于多元线性回归

MLE+正太分布  可以推导出损失函数J(w)=MSE

对于逻辑回归

MLE 可以推到出损失函数J(w)=cross entropy

第二步：

找到损失函数最小值

通过一阶泰勒展开进行求解得到梯度下降公式

然后求梯度