作者：HaigLee
https://www.jianshu.com/u/67ec21fb270d
本文由 HaigLee 发布。未经许可，禁止转载。

这个架构可以分为三层：在线层、离线层、尽线层。

在线层

• 数据：实时数据
• 响应：实时响应
• 适用于：
  • 对场景信息敏感
  • 立即满足用户
  • 运行简单算法和逻辑
• 约束：
  • 响应时间是硬要求
  • 要准备降级服务的推荐结果
  • 计算复杂度有限
• 典型任务：
  • 过滤逻辑
  • 运营手段
  • 融合排序
  • 多样性提升
• 举例：
  • 取出近线层的推荐电影及物品的内容特征，用户特征
  • 运用GBDT得到500个新特征，运行LR输出融合模型
  • 过滤看过的，过滤已被删除的
  • 根据多样性要求去掉高度相似的电影
  • 强插一些当季运营活动指定位置
  • 输出推荐结果

离线层

• 数据：非实时
• 响应：非实时
• 适用于：
  • 处理大数据量
  • 运行批量任务
  • 算法探索和模拟评测效果
  • 可以水平扩展计算能力
• 约束：
  • 无法及时捕获最新的用户兴趣
  • 无法给用户推荐最新物品
• 典型任务：
  • 批量机器学习算法
  • 批量计算推荐结果
  • 挖掘用户标签
  • 物品的内容分析
• 举例：
  • 矩阵分解，学习得到用户隐因子向量和物品隐因子向量
  • 学习500棵树GBDT决策树
  • 以GBDT输出作为特征学习LR模型参数

近线层

• 数据：实时
• 响应：非实时
• 适用于：
  • 捕获用户最新兴趣
  • 运行较复杂的算法
  • 较及时给用户响应
• 约束：
  • 处理的数据量有限
  • 部分依赖离线计算结果
  • 和离线层无缝结合有一定的复杂度
• 典型任务：
  • 用最新事件补充召回推荐结果
  • 小批量样本更新模型参数
• 举例：
  • 用户新评分的电影计算相似电影并增加到离线推荐结果中
  • 根据最新浏览数据提取新的标签补充到用户标签中

作者：HaigLee
https://www.jianshu.com/u/67ec21fb270d
本文由 HaigLee 发布。未经许可，禁止转载。