损失函数，风险函数，目标函数

---

损失函数：

估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。

image.png

---

现实中的例子：

image.png

上面三个图的函数依次为fx1，fx2，fx3，我们是想用这三个函数分别来拟合Price，Price的真实值记为。为了表示我们拟合的好坏，我们就用一个函数来度量拟合的程度，例如：

image.png

风险函数： loss function越小越好么？

不是。

还有一个东西叫做风险函数(risk function)，风险函数是损失函数的期望。关于训练集的平均损失称作经验风险(empirical risk)，所以我们的目标就是最小化它的值。

image.png

---

目标函数:

经验风险函数值最小化的同时，我们还要让结构风险最小化，因为上面那个例子中的函数太复杂了，都有四次方了。

这个函数专门用来度量模型的复杂度，在机器学习中也叫正则化。最终的优化函数是：

image.png

最左面的 f(x1) 结构风险最小（模型结构最简单），但是经验风险最大（对历史数据拟合的最差）。最右面的 f(x2) 经验风险最小（对历史数据拟合的最好），但是结构风险最大（模型结构最复杂），而 f(x3) 达到了二者的良好平衡，最适合用来预测未知数据集。