实战_资讯推荐场景中多路召回实践02

资讯多路召回开发

多路召回部署模块

03.png image-20220124161744230.png

架构：

feature_server对应架构流程特征服务中的item特征与user特征

recall_server对应召回服务

model关联到FM开发

vector_server对应 i2i 与 u2i

开发前准备

• pychram

• redis 安装教程 https://www.cnblogs.com/chengxs/p/9090819.html
  

  03.png

• redis可视化工具 https://www.jb51.net/softs/669908.html

• 新闻资讯数据data：articles.csv、click_log.csv、matrixcf_articles_emb.csv

屏幕截图 2022-01-28 223338.png

click_log.csv中

user_id	用户id
article_id	文章id
timestamp	时间戳
enviroment	处于何种网络，3G、4G、5G、WIFI
region	区域位置，城市

隐式特征抽取：用户点击历史对应数组形新特征，文章组成序列：[文章id+时间戳]

注：关于redis

redis常用指令：

cd C:\Users\Administrator\Desktop\redis-latest

redis-server.exe redis.windows.conf


（1）启动命令如下：

redis-server --service-start
（2）停止命令：

redis-server --service-stop

（3）还可以安装多个实例

redis-server --service-install –service-name redisService1 –port 10001
redis-server --service-start –service-name redisService1

4）卸载命令：

redis-server --service-uninstall

Item_cf召回的开发流程

1. 抽取数据

2. 基于数据用于item_cf 计算相似矩阵

3. 将相似矩阵存入redis

user cf 的开发流程

1. 抽取数据

2. 基于数据用于user_cf 计算相似矩阵

3. 将相似矩阵存入redis

FM召回的开发流程

1. 抽取数据,构建正负样本

2. 基于FM模型对构建的数据进行训练

3. 将参数服务器中的对应参数向量保存(W值与V值)

4. 基于对应参数向量获取到item向量，计算item的相似矩阵存入redis

5. 把对应用户特征向量V存入对应的redis，用于向量服务

model说明

1. 数据处理 data_processing_to_hash_tf_records.py

2. 定义好输入inputs.py

3. 对应模型的模块fm.py和mf.py

4. 进入训练train.py和评估auc.py

5. 与参数服务器进行交互ps.py

资讯召回推荐线上模拟

召回线上流程

image-20220124162102039.png