用户流失总结
项目背景：携程作为中国领先的综合性旅行服务公司，每天向超过2.5亿会员提供全方位的旅行服务，在这海量的网站访问量中，我们可分析用户的行为数据来挖掘潜在的信息资源。其中，客户流失率是考量业务成绩的一个非常关键的指标。此次竞赛的目的是为了深入了解用户画像及行为偏好，找到最优算法，挖掘出影响用户流失的关键因素，从而更好地完善产品设计、提升用户体验
项目介绍：请分析影响客户流失的关键因素，并通过算法预测客户访问的转化结果
项目过程
数据集探索
image.png
数据预处理
先用jupyter notebook导入原始的训练集和测试集数据，然后统计缺失值的比例，然后在用Pycharm对缺失值按列名处理。
缺失值占比小于20%：
fillNauWithMean = ['commentnums', # 酒店评论数
'novoters', # 酒店当前评论人数
'cancelrate', # 当前酒店历史取消率 11718
'price_sensitive', # 价格敏感指数
'hoteluv', # 当前酒店历史UV
'hotelcr', # 当前酒店历史转化率
'cr_pre', # 24小时历史浏览次数最多酒店历史cr 29397
'lowestprice', # 当前酒店可定最低价
'lowestprice_pre2', # 24h 访问酒店可预定最低价
'customereval_pre2', # 24小时历史浏览酒店客户评分均值 28633条记录缺失
'commentnums_pre', # 24小时历史浏览次数最多酒店点评数
'commentnums_pre2', # 24小时历史浏览酒店点评数均值
'cancelrate_pre', # 24小时内已访问次数最多酒店历史取消率
'novoters_pre2', # 24小时历史浏览酒店评分人数均值
'novoters_pre', # 24小时历史浏览次数最多酒店评分人数
'deltaprice_pre2_t1', # 24小时内已访问酒店价格与对手价差均值
'lowestprice_pre', # 24小时内已访问次数最多酒店可订最低价
'uv_pre', # 24小时历史浏览次数最多酒店历史uv
'uv_pre2', # 24小时历史浏览酒店历史uv均值
'businessrate_pre2', # 24小时内已访问酒店商务属性指数均值
'cityuvs', # 昨日访问当前城市同入住日期的app uv数
'cityorders', # 昨日提交当前城市同入住日期的app订单数
'visitnum_oneyear', # 年访问次数
]
缺失值占比20%-50%：
fillNauWith999 = ['ordercanncelednum', # 取消订单数 242114
'landhalfhours', # 24小时登陆时长 28633
'starprefer', # 星级偏好 225053
"consuming_capacity", # 消费能力指数 226108
'historyvisit_avghotelnum', # 近3个月用户历史日均访问酒店数 302069
'delta_price1', # 用户偏好价格-24小时浏览最多酒店价格
'businessrate_pre', # 24小时历史浏览次数最多酒店商务属性指数
'ordernum_oneyear', # 年订单数
'avgprice', # 平均价格
'delta_price2', # 用户偏好价格-24小时浏览酒店平均价格
'customer_value_profit', # 客户近一年的价值
'ctrip_profits', # 客户价值
'lasthtlordergap', # 一年内距离上次下单时长 缺失值占242114条记录
'lastpvgap', # 一年内距上次访问时长 缺失值共97127记录
'cr' # 用户转化率
]
缺失值大于50%：
fillfeatureswith0 = ['historyvisit_7ordernum', #近7天用户历史订单数
'historyvisit_totalordernum', #近1年用户历史订单数
'ordercanceledprecent', #用户一年内取消订单率
'historyvisit_visit_detailpagenum' # 7天内访问酒店详情页数
]
缺失值填充：缺失值占比小于20%的用均值填充、缺失值占比20%-50%的用-999填充、缺失值大于50%用0填充。
根据统计分析，decisionhabit_user这个特征大于40的数据占的比例很少，所以把大于40的值改成1，小于40的改成0；
- 再根据用户和酒店进行分组（这里需要用到聚类KMeans），
user_group= ['historyvisit_7ordernum', #近7天用户历史订单数
'historyvisit_totalordernum', #近1年用户历史订单数
'ordercanceledprecent', #用户一年内取消订单率
'historyvisit_visit_detailpagenum', # 7天内访问酒店详情页数
'historyvisit_avghotelnum' , # 近3个月用户历史日均访问酒店数 302069
'lowestprice_pre' # 24小时内已访问次数最多酒店可订最低价
]
hotel_group=[
'commentnums', # 酒店评论数
'novoters', # 酒店当前评论人数
'cancelrate', # 当前酒店历史取消率 11718
'hoteluv', # 当前酒店历史UV
'hotelcr', # 当前酒店历史转化率
'lowestprice' # 当前酒店可定最低价
]
- 除此之外，这里有部分连续特征需要处理：starprefer，avgprice，consuming_capacity 定义三个函数，starprefer中值等于-999的返回为0，小于50的值返回为1，50-80的值返回为2，其余返回为3；avgprice中值等于-999的返回为0，小于300的值返回为1，小于1000的值返回为2，其余返回为3；consuming_capacity中值等于-999的返回为0，小于50的值返回为1，其余返回为2；
#部分连续特征处理
numFeatures=['starprefer','avgprice','consuming_capacity']
def deal_starprefer(x):
if x==-999:
return 0
elif x<50:
return 1
elif x<80:
return 2
else:
return 3
def deal_avgprice(x):
if x==-999:
return 0
elif x< 300:
return 1
elif x<1000:
return 2
else:
return 3
def deal_consuming_capacity(x):
if x==-999:
return 0
elif x< 50:
return 1
else:
return 2
-
根据用户和酒店进行分组,然后通过KMeans生成新的特征，但是要进行get_dummies，再对分类变量进行one-hot-encode
-
构造新特征，是否工作日/星期几/预定时间与入住时间间隔，因为工作日和周末对客户预定酒店有很大影响，所以要另外添加特征来分析。
-
如果同一个用户连续几天预定了同一家酒店，第一天的数据在训练集上，那么之后几天的数据则会过拟合，所以要把同一个用户的信息放到同一个数据集中，根据这个思路构造一个新的特征：用户标签，需要用到hash函数；
#用户标签：usertag = 用户一年内取消订单数+ 近3个月用户历史日均访问酒店数+用户年订单数+客户价值_近1年+客户价值+用户转化率+年访问次数
dataProcessed['usertag']= dataProcessed.ordercanncelednum\
+dataProcessed.historyvisit_avghotelnum \
+dataProcessed.ordernum_oneyear \
+dataProcessed.customer_value_profit \
+dataProcessed.ctrip_profits \
+dataProcessed.cr \
+dataProcessed.visitnum_oneyear
-
Train，Test数据分割用来训练模型，首先把训练集数据按照用户标签特征进行排序，之后按照7比3的比例分成Train数据和Test数据：
建模需要用到的数据为Train数据，Test数据和Pred数据，这里的Pred数据是之前处理好的测试集数据； -
构建一个调参函数，这里要用到网络搜索GridsearchCV，调整树的最大深度，每个叶子节点个数，步长，每棵树随机采样列数占比以及样本随机采样的比例来找出最优参数，我用的模型是XGBoost，找到最优参数后，紧接着用找到的最优参数来训练XGB模型，然后用模型进行预测，这里使用了precision_recall_curve函数输出所以精确度和召回率，在精确度大于0.97的数据中找出最大召回率，然后保存预测结果。到这里这个案例差不多已经完成了，还剩下最后的上线。
大体大体思路是如何找出有效特征并且构建新的有效特征，对于一个模型来说，通过调参来提升模型毕竟有限，最重要的还是特征工程。这里的特征大致分为3类，订单相关指标，酒店相关指标和用户相关指标，列出每个指标中重要的特征着重分析。
