正则化

2020-07-01 本文已影响0人夜猫子丶CC

令 $f(x_i)=\omega _0x_0+……+\omega _nx_n$

$min \lceil \frac{1}{N} \sum_{1}^nL(y_i-f(x_i))^2 +r(d)\rfloor$

看过拟合的f(x)形式，即求解“让W向量中项的个数最小化”= r(d) = $|W|_0$

（1）经验风险： $R_{emp}(f)=\frac{1}{N} \sum_{1}^nL(y_i-f(x_i))^2$

（2）结构风险： $R_{srm}(f)=R_{emp}(f)+r(d)$

（3）正则化问题即结构风险最小化问题： $min \lceil \frac{1}{N} \sum_{1}^nL(y_i-f(x_i))^2 +\frac{\lambda}{2} ||\omega |\vert ^2\rfloor$

0范数，向量中非零元素的个数。

1范数，为绝对值之和。

2范数，就是通常意义上的模。

参考：