为何要根据损失函数推导公式以及关于推导的方式
2019-11-03 本文已影响0人
hwang_zhic
为何要根据损失函数推导公式以及关于推导的方式
目录:
- 原因:解释了为何要推导这些公式的原因
- 举例说明:根据文章来说明这个推导的必要性
- 分析如何推导添加用户相似度的公式
1. 原因
首先来先说一下原因,接着举例分析这个原因,最后再来分析一下到底要如何推导加了用户相似度的两个矩阵的计算方式。
那么先说原因:
- ALS 模型不是输入一条损失函数的公式,然后输入数据就能直接跑起来模型的。
- 模型的更新是要根据损失函数推导出来的公式来设定的。
- 众所周知,ALS 是一个交替最小二乘法,意思是先固定用户矩阵或者项目矩阵中的其中 1 个,然后计算另一个矩阵的,最终得到两个最优解矩阵。而如何计算另一个矩阵办法或者公式我们是未知的。
- 因此,我们要根据损失函数来推导出这两个矩阵(用户矩阵和项目矩阵)的是怎么在固定一个矩阵的情况下来计算更新另一个矩阵的。
- 总结,以上就是我们需要从损失函数推导公式的原因。
那么接下来就按照知乎文章中的损失函数推导公式过程以及代码来举例说明整个过程
2. 举例说明
接下来就举例说明一下文章中的 ALS 算法的推导过程,以及解说一下配套代码的含义
2.1 文章中的 ALS 损失函数
首先是损失函数,下面是知乎文章中的 ALS 模型的损失函数:
这个是损失函数。
2.2 推导的过程
由于 ALS 算法的流程是先固定 1 个矩阵,然后求另一个矩阵的。然而现在不知道是如何计算另一个矩阵的,也就是不知道另一个矩阵的计算公式。因此我们需要来推导这个另一个矩阵的计算公式。
由损失函数推导出用户矩阵 和项目矩阵
的计算公式,那么推导的过程主要分 3 步:
- 对损失函数求
的一阶偏导数,得到结果如下:
- 然后再令一阶偏导数等于0 ,即等式左边项为 0 ,得到了用户矩阵
,结果如下:
- 同理,可证得项目矩阵
的计算公式
2.3 推导的公式在代码上的应用
下面截取了 ALS 算法的代码中核心部分
- 含义
- 这段代码的内容是按照上面推导出来的、用来计算两个矩阵 U 和 I 的公式设计出来的。
- 作用
- 输入数据后通过调用该方法,最终计算得到 U 和 I 的两个矩阵。
for i in range(max_iter):
if i % 2:
# U = (I * I_transpose) ^ (-1) * I * R_transpose
items = self.item_matrix
self.user_matrix = self._items_mul_ratings(
items.mat_mul(items.transpose).inverse.mat_mul(items),
ratings
)
else:
# I = (U * U_transpose) ^ (-1) * U * R
users = self.user_matrix
self.item_matrix = self._users_mul_ratings(
users.mat_mul(users.transpose).inverse.mat_mul(users),
ratings_T
)
3. 如何处理加了相似度的损失函数
3.1 加了相似度的损失函数
首先需要先了解加了用户相似度的损失函数是怎样的。
加了相似度的损失函数如下,这是在论文中截取到的:
这个损失函数的参数解释如下:
- 其中
是正则化参数,
表示用户
与用户
之间的相似度,
表示用户的外向好友,即相似度较高朋友
3.2 推导步骤
- 对损失函数求
的一阶偏导数
- 然后再令一阶偏导数等于0 ,即等式左边项为 0 ,得到了用户矩阵
- 然后就可以同理可得项目矩阵
了
我主要是在这里卡主了,不会推导这些公式
3.3 推导过程参考文章
推导过程参考文章:
文章从下图开始详细介绍了 ALS 算法的推导过程
