推荐系统算法实践 - P2 推荐系统的召回算法

4 协同过滤 - 基于行为

协同过滤算法

• 协同过滤算法是什么？
  基于跟你类似的用户喜欢的东西，你也会喜欢
  基于跟你喜欢的东西类似的物品，你也会喜欢
• 怎么体现类似的这个情景？
  同现相似度，欧几里得距离，皮尔逊相关系数，余弦相似度
  • 皮尔逊相关系数大小跟紧密程度的关系？
    皮尔逊相关系数 [-1, 1]，绝对值越接近于1，越线性相关
  • 什么时候使用向量乘法，什么时候选择余弦相似度？
    如果向量的长度本身对相似有影响，建议使用内积，比如评分1-5，5分和1分差距就很大

怎么实现

• 数据源的格式是什么？
  user_id,movie_id,rating,time_stamp，如果数据过多，可以把根据rate去截取相似的视频
  movie, title, genres

• 怎么实现上面四种相似度算法？

  • 同现相似度：
    groupBy，flatMap只生成上三角，然后按照公式计算同现相似度
  • 同现相似度的公式是？
    N(A)∩N(B)/sqrt(N(A)*N(B))

• Spark有哪些基本使用方式？

  • spark里的groupBy，flatMap等方法的具体怎么用？
    https://spark.apache.org/docs/latest/rdd-programming-guide.html
    Python里面是groupByKey (K, V) ->(K, Iterable<V>) , reduceByKey, aggregateByKey
  • Spark SQL和Data Frame是什么？
    跟SQL是一个感觉，有map, flatmap, select, join, filter等

• Spark是怎么一个流程?

  • 数据准备？
    读取item配置表，读取用户行为表
    spark有读csv的方法，然后转为dataframe
  • 怎么读取用户的行为数据，怎么存储的，存储成什么格式，怎么使用这个格式?
    具体流程是groupBy,agg,explode
    https://spark.apache.org/docs/latest/quick-start.html

  统计一个共现的表（上三角），然后与每个展现表作join，最后合并上三角和下三角
  相似度计算？
  如果用欧几里得距离，直接取分就ok，一直join上去就行，最后只是合并的方案有区别

• 推荐结果计算怎么推荐？
  cid 对应 cid和分数 对应一下
  然后去排序推荐就好了

• Datasets RDD Dataframe的区别是？
  https://www.infoq.cn/article/three-apache-spark-apis-rdds-dataframes-and-datasets/
  https://www.cnblogs.com/starwater/p/6841807.html
  Rdd是最基本的[(),()]
  Dataframe每一行的类型是Row[Row(value=),Row(value=()]
  Dataset每一行的类型是自定义
  后两个支持spark sql

5 Word2vec - 基于内容

这一章的脉络是什么？
https://www.cnblogs.com/pinard/p/7160330.html
https://arxiv.org/pdf/1301.3781.pdf

讲了四个语言模型，两个算法

Word2vec算法

• 语言模型
  什么是语言模型？
  对一段文字出现概率的数学表达式
  word2vec从大规模语料中以无监督的方式学习语义知识
  输入词预测上下文是skip-gram模型
  上下文预测词是CBow模型
  word2vec是通过神经网络学习某个语言模型（比如上面两个）的中间结果，有两个降低复杂度的方法
• CBOW one-word context
  什么是CBOW？
  continuous bags of word
  一个词上下文推荐下一个词，分为输入层，隐藏层，输出层，输出层用softmax，词向量为中间的隐藏层
• CBOW multi-world context
  多个上下文单词推荐下一个词
  跟上面不同的是隐藏层计算，多个上下文单词的向量累加取平均值，然后与输入层->隐藏层的矩阵相乘
• continuous Skip-Gram模型
  隐藏层对应多个输出层，输入层有1个词向量，输出层有多个词向量，比如距离最大值为C，选一个1-C的数R，取前后R个词，用2R个数作为输出
• Hierarchical Softmax
  https://arxiv.org/pdf/1411.2738.pdf
  霍夫曼树：n个节点为n个树，找改森林里面最小的两个根节点，形成一个以这两个节点为子节点的树，根节点的值为两节点之和，加入到森林里面，然后删掉森林，不断循环直到只剩下一个节点https://www.cnblogs.com/pinard/p/7160330.html
• Negative Sampling
  负采样
  https://www.cnblogs.com/pinard/p/7249903.html