13 回归算法 - 局部加权回归 - 损失函数

2018-10-21 本文已影响46人白尔摩斯

普通线性回归损失函数： $J(θ)=\sum_{i=1}^m(h_θ(x^i) - y^i)^2$

局部加权回归损失函数： $J(θ)=\sum_{i=1}^mw^i(h_θ(x^i) - y^i)^2$

根据每个不同的样本，加上不同的权重: wⁱ
根据要预测的点和数据集中的点的距离，来为数据集中的点赋权重。
某点离要预测的点越远，其权重越小，否则越大。

两个点离得无限远，那么wⁱ越趋向于0。
两个点重合的时候，那么wⁱ=1

两点相似度的度量公式 - 高斯核

该函数称为指数衰减函数，其中σ为波长函数，它控制了权值随距离下降的速度。

注意： 使用该方式主要应用到样本之间的相似性考虑，主要内容在SVM中再进一步介绍