思考SGD未提升的两个问题

2019-11-20  本文已影响0人  hwang_zhic

1. 思考两个问题

目录:

  1. 分析sgd为什么没有提升
  2. 对照英豪的文档,推论细节

1. 分析sgd为什么没有提升

下面将从两个方面来探讨

  1. 首先传统模型是有解释性的,那么可以从这方面挖掘一下为什么没有提升吗?
  2. 那么是否数据集有影响呢?

先说结论

  1. 矩阵分解解释性并不强,因此这条路不行
  2. 数据集可能有影响,但还未实验验证
  1. 可以尝试其他数据集,如

  2. 数据集中,用户们不同社交关系强度,具体验证方式参考:融合社交信息的矩阵分解推荐方法研究综述

  3. 数据集中,不同的用户可以被用来进一步提高推荐质量吗?

    • 需要进一步论证

2. 对照英豪的文档,推论细节

看了之后,我在想我之前得出来的结果是否有细节含在其中呢,那么下面就是我的一些想法。

先说结论:

添加相似度后,模型的泛化能力进一步提高,不容易过拟合。就是说长期收益增加了。

2.1 SGD的对比结果及总结想法

下面表格是对比结果,模型共两个:baseline 和 添加相似度的 SGD

原SGD Iteration train_mse test_mse 加用户相似度SGD Iteration train_mse test_mse train_mse 对比提升 test_mse对比提升
1 1.141784386 1.188415965 1 13.67562 14.20713 -1097.74% -1095.47%
10 0.917914525 1.011238497 10 6.573647 9.61891 -616.15% -851.20%
25 0.866157052 0.963646883 25 1.179691 1.99135 -36.20% -106.65%
50 0.838677125 0.943052707 50 0.891645 1.107708 -6.32% -17.46%
100 0.754480384 0.924777349 100 0.76197 0.948601 -0.99% -2.58%
200 0.402944841 0.917382603 200 0.514333 0.898999 -27.64% 2.00%

从表格中可以得到的信息是,在随着训练迭代次数的增加,添加相似度的 SGD 算法与原本未加相似度的 SGD 算法的差距一直再减少,并最终在迭代次数为 200 时,test_mse 的结果比未加的提升了。

我想的是,这结果表明添加相似度后,模型的泛化能力进一步提高,不容易过拟合。

上一篇下一篇

猜你喜欢

热点阅读