代价/损失/目标函数，傻傻分不清楚

背景音乐：カタオモイ - Aimer

看国外教程的时候，或者看论文的时候，会看到这三种函数：loss funciton(损失函数)、cost function(代价函数)、objective function(目标函数)，三者傻傻分不清楚。

看起来这三个好像是讲的一个东西，但细细琢磨，才发现是有些不同的。

首先来看看Andrew在Machine Learning课程里的说法：

课后作业

加上其他上课内容，总结起来就是：

• Loss Function：单个训练样本的误差，以偏差为例——|y_i-f(x_i)|
• Cost Function：所有训练样本的平均误差，以平方损失函数为例——1/N*Σ(y_i-f(x_i))²
• Objective Function：算法要最小化(有的时候是最大化)的对象，如果不考虑结构化风险（即不加正则项），则与Cost Function一样，都指所有训练样本的平均误差。

如果事情到这里就结束的话，就太好了，我也不用写这篇文章了。

机器学习作为一门新兴学科，很多名词还没有统一，工业发展始终走在科研前面，同时，统计学领域和机器学习领域的叫法又略有不同，因此就出现了各种不一致的说法：

• 大家的争执主要还是出现在loss funciton和cost function上，一部分人认为两者一样，讲的都是所有训练样本的平均误差。
• 对于objective function，大家的看法倒还挺一致的。

所以，最后的结论是，都两种认识都有所了解即可，至少不会再糊里糊涂了~~