推荐系统实践-评分预测问题

评分预测问题基本通过离线试验进行研究。对于测试集中的一对用户和物品(u,i)，用户u对物品i的真实评分是rui，而推荐算法预测的用户对物品i的评分是rui(一个小帽子...见图)，那么一般用均方根误差RMSE度量预测的精度：

评分预测的目的就是找到最好的模型最小化测试集的
评分预测算法
平均值
1.全局平均值
在平均值在最简单的是全局平均值，他的定义为训练集中所有评分记录的评分平均值：

2.用户评分平均值
用户u的评分平均值定义为训练集中所有评分的平均值
3.物品评分平均值
物品i的评分平均值定义为物品i在训练集中接受的所有评分的平均值
4.用户分类对物品分类的平均值

除了这3种特殊的平均值，在用户评分数据上还可以定义很多不同的分类函数：
①用户和物品的平均分
②用户活跃度和物品流行度
基于邻域的方法
基于用户的领域算法和基于物品的邻域算法都可以应用到评分预测中。基于用户的邻域算法认为预测一个用户对一个物品的评分，需要参考和这个用户兴趣相似的用户对该物品的评分，即：

这里，S(u,k)适合用户u兴趣最相似的K个用户的集合，N(i)是对物品i评过分的用户集合，rvi是用户v对物品i的评分，rv帽子是用户v对他评过分的所有物品评分的平均值，可以使用皮尔逊系数计算：
g
基于物品的邻域算法在预测用户u对物品i的评分时，会参考用户u对和物品i相似的其他物品的评分，即：

3种余弦相似度：

隐语义模型与矩阵分解模型
1.传统SVD模型
首先需要对评分矩阵中的缺失值简答补全，然后使用SVD分解为如下形式：

然后取最大一些奇异值组成新对角矩阵。不过有很多缺点：
①实际系统缺失值过多
②计算复杂度高
2.Simon Funk的SVD分解
将评分矩阵分解为两个低维矩阵P和Q相乘。SF认为，既然我们用RMSE作为评测指标，那么如果能找到合适的P和Q来最小化训练集的预测误差，那么应该也能最小化测试集的预测误差。SF重新定义损失函数：

为了防止过拟合，可以加入正则化参数λ：

要最小化上面的损失函数，我们可以采用随机梯度下降法：

然后根据随机梯度下降法，需要将参数沿着最速下降方向向前推进，因此可以得到如下递推公式：

其中α是学习速率（learning rate），它的取值需要反复试验获得
3.加入偏置项后的LFM
实际情况下，一个评分系统有些固有属性和用户物品无关，而用户也有属性和物品无关，物品也有属性和用户无关。因此，有人提出了另一种LFM预测公式如下：

新增加的三项作用如下：
μ：训练集中所有记录的评分的全局平均数
bu：用户偏置（user bias）项。这一项表示了用户的评分习惯中和物品没有关系的那种因素
bi：物品偏置（item bias）项。这一项表示了物品接受的评分中和用户没有什么关系的因素
增加的3个参数中，只有bu和bi是要通过机器学习训练出来的，同样可以求导，然后用梯度下降法来求解这两个餐参数。
4.考虑邻域影响的LFM
Koren提出将用户历史评分的物品加入LFM模型中，称为SVD++
首先对矩阵分解，将参数个数降低到2nF个额，模型如下：

大大降低了参数的数量和存储空间。再进一步，我们可以将前面的LFM和上面的模型相加，从而得到如下模型：

Koren又提出，为了不增加太多参数造成过拟合，可以令x=q：

加入时间信息
1.基于邻域模型融合时间信息
TItemCF算法，通过如下公式预测用户在某一个时刻会给物品什么评分：

△t=tui-tuj是用户对物品i和物品j的评分差，wij是物品i和j的相似度，f是考虑了时间衰减后的相似度函数，它的主要目的是提高用户最近的评分行为对推荐结果的影响，BigChaos在模型中采用了如下的f：

δ(x)是sigmoid函数，目的是将相似度压缩到(0,1)区间中。从上面的定义可以发现，随着△t增加，f(wij,△t)会越来越小，也就是说用户很久之前的行为对预测用户当前的评分影响越来越小
2.基于矩阵分解的模型融合时间信息
在引入时间信息以后，用户评分矩阵不再是一个二维矩阵，而是三维矩阵。不过我们可以使用前面的BiasSVD模型分解
模型融合
1.模型级联融合
从书中描述发现，级联融合很像Adaboost算法。和Adaboost算法类似，该算法每次产生一个新模型，按照一定的参数加到旧模型上去，从而使训练集误差最小化。不同的是，这里每一次生成新模型时并不对样本集采样，针对那些预测错的样本，而是每次每次都还是利用全样本进行预测，但每次使用的模型都有区别
2.模型加权融合
一般来说，评分预测问题的解决需要在训练集训练K个不同的预测器，然后在测试集上作出预测。但是，如果我们继续在训练集上融合K个预测器，得到线性加权系数，就会造成过拟合的问题。因此，在模型融合时一般采用如下方法：
①假设数据集已经被分为训练集A和B，那么首先需要将训练集A按照相同的分隔方法分为A1和A2，其中A2的生成方法和B的生成方法一致，且大小相似；
②在A1上训练K个不同的预测器，在A2上作出预测，因为我们知道A2上的真实评分值，所以可以在A2上利用最小二乘法计算出线性融合系数αk；
③在A上训练K个不同的预测器，在B上作出预测，并且将这K个预测器在B上的预测结果按照已经得到的线性融合系数加权融合，以得到最终的预测结果
后记
-确定商业目标和用户满意度之间的关系
-忘记冷启动问题
-不要为了推荐而推荐
-不要浪费时间计算相似兴趣的用户，可以直接利用社会网路数据
-选择合适的用户反馈方式