类范数与桥回归法
2018-11-27 本文已影响0人
麒麟楚庄王
桥回归法(bridge regression method)回归分析法的一种。即对存在着多重共线性,线性回归模型参数估计的一种方法。
lasso,弹性网络,group and fused lasso 是从L1范数和L2范数中构建惩罚项(有时还会带上权重)
桥回归使用一般化的Lp范数(其中p>=1)和类范数(其中0<p<1),比如p=1/2时,the analogue of lasso objective in the Lagrangian form is to solve:
其中:
he fractional quasi-norms ,provide more meaningful results in data analysis both from the theoretical and empirical perspective.但是由于这些quasi-norms是非凸的,从而给最优化求解带来了麻烦。于是就有了an expectation-minimization procedure,以最小化这个函数:
An example how efficient PQSQ regularized regression works just as l1 norm lasso