✨线性单元的目标函数

2020-12-16 本文已影响0人罗蓁蓁

深度学习概念之✨线性单元的目标函数！！！

在监督学习下，对于一个样本，我们知道它的特征x，以及标记y。同时，我们还可以根据模型h(x)计算得到输出y'。注意这里面我们用表示y训练样本里面的标记，也就是实际值；用带上划线y'的表示模型计算的出来的预测值。我们当然希望模型计算出来的y和y'越接近越好。

数学上有很多方法来表示的y和y'的接近程度，比如我们可以用y'和y的差的平方的来表示它们的接近程度.
$e=\frac{1}{2}(y-\overline{y})^2$
我们把e叫做单个样本的误差。至于为什么前面要乘1/2，是为了后面计算方便。

训练数据中会有很多样本，比如N个，我们可以用训练数据中所有样本的误差的和，来表示模型的误差E，也就是:
$E=e^{(1)}+e^{(2)}+e^{(3)}+...+e^{(n)}$
上式e1的表示第一个样本的误差，e2表示第二个样本的误差......。

我们还可以把上面的式子写成和式的形式。使用和式，不光书写起来简单，逼格也跟着暴涨，一举两得。所以一定要写成下面这样:
$\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,E=e^{(1)}+e^{(2)}+e^{(3)}+...+e^{(n)}\\ =\sum_{n=1}^n e^{(i)}\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\\ =\frac{1}{2} \sum_{n=1}^n (y^{(i)}-\overline{y}^{(i)})^2$
其中：
$\overline{y}^{(i)}=h(x^{(i)})=w^Tx^{(i)}$
那么：
$E=\frac{1}{2} \sum_{n=1}^n (y^{(i)}-w^Tx^{(i)})^2$

而x^{i表示第i个训练样本的**特征**，y}i表示第i个样本的标记，我们也可以用元组(x^i,yi)表示第i训练样本。则y'^i是模型对第个样本的预测值。

重点来了：

我们当然希望对于一个训练数据集来说，误差最小越好，也就是E的值越小越好。对于特定的训练数据集来说，元组(x^i,yi)的值都是已知的，所以E其实是参数w的函数。
$E=\frac{1}{2} \sum_{n=1}^n (y^{(i)}-w^Tx^{(i)})^2$

模型的训练，实际上就是求取到合适的，使E取得最小值。这在数学上称作优化问题，而就是我们优化的目标，称之为目标函数。

✨线性单元的目标函数

猜你喜欢

热点阅读