机器学习：常见的损失函数
2018-08-11 本文已影响0人
小歪与大白兔
- 损失函数简要介绍
- 0-1损失
- 绝对值损失
- log对数损失函数
- 平方损失函数
- 指数损失函数
- Hinge损失函数
损失函数
- 用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的算法使用的损失函数不一样。
- 损失函数分为经验风险损失函数和结构风险损失函数。
- 经验风险损失函数指预测结果和实际结果的差别。
-
结构风险损失函数是指经验风险损失函数加上正则项。通常表示为如下：
image.png
绝对值损失函数
image.png
平方损失函数
指数损失函数
-
指数损失函数的标准形式：
image.png
- AdaBoost就是一指数损失函数为损失函数。
Hinge损失函数
-
Hinge函数的标准形式：
image.png
- y是预测值，在-1到+1之间，t为目标值（-1或+1）。
其含义为，y的值在-1和+1之间就可以了，并不鼓励|y|>1，即并不鼓励分类器过度自信，让某个正确分类的样本的距离分割线超过1并不会有任何奖励，从而使分类器可以更专注于整体的分类误差。
参考资料：
https://blog.csdn.net/weixin_37933986/article/details/68488339
