损失函数的选择
2019-06-22 本文已影响0人
MC_Dream
回归问题常用:均值平方差损失函数(MSE);交叉熵问题常用交叉熵损失函数(CE)。
那为啥?
1.从原理上来讲,CE就是分类问题的极大似然估计,并不适用于连续变量的回归问题。
2.对于分类问题,若采用逻辑回归算法,MSE一般是非凸函数,不能取得全局最优解,且MSE容易发生梯度消失;而CE是凸函数,能取得全局最优解。所以分类问题一般用CE。
MSE CE回归问题常用:均值平方差损失函数(MSE);交叉熵问题常用交叉熵损失函数(CE)。
那为啥?
1.从原理上来讲,CE就是分类问题的极大似然估计,并不适用于连续变量的回归问题。
2.对于分类问题,若采用逻辑回归算法,MSE一般是非凸函数,不能取得全局最优解,且MSE容易发生梯度消失;而CE是凸函数,能取得全局最优解。所以分类问题一般用CE。
MSE CE