项目-实时刷新的带看数据BI看板-powerbi+python+

1.项目目的：基于现有数据，以业务带看情况为主题，搭建实时更新的BI看板。
2.基础数据源介绍
现有数据源为三张表：带看表，daikan_table；认购表，chengjiao_table；人员架构表；其中带看表，认购表可以理解为多条记录，人员架构表每一行都记录着经纪人信息。
以上三张表的基础数据源为后台管理系统下载的.csv文件。
每张表包含的关键字段罗列如下：

image.png

3.项目步骤
（1）想要创建实时刷新的powerBI，因此考虑构建宽表，使用python脚本，将daikan_table+chengjiao_table进行数据清洗，将清洗后的数据存入mysql数据库。定时执行脚本即可实现最新数据的入库。
总体思路如下：

image.png
（2）使用powerbi 从数据库读取数据，根据业务所需搭建模型，例如构建日期表。同时随着数据库数据的刷新，powerBI看板也可实现刷新。
（3）对于人员架构表，个人采用了简易方式，在powerBI里面之间嵌入了处理人员架构表的脚本。
4.业务介绍
（1）数据源理解。以上数据源，描述的是X房地产公司，每日产生业务带看，产生业务成交情况的基础数据。从经纪人的维度看，组织架构的层级为：事业部-大区-门店-分行-带看经纪人。每位经纪人每天产生的每条带看记录都记在带看表，daikan_table；每位经纪人每天产生的每条成交记录都记在认购表，chengjiao_table；人员架构表相对来说比较好理解，记录的是每位经纪人所属的组织架构，基础信息，职业等。
（2）指标计算规则。
带看量=daikan_table的带看标记计数；

渗透率=带看人数/在职人数；
人均带看=带看量/在职人数；
人均业绩=认购总业绩/在职人数；
5.数据源架构
（1）将带看数据、认购数据整合成一张宽表timeline，存入数据库。
从数据库读取这个宽表timeline。根据业务场景，给用户查看大概半年的数据，因此在SQL语句中将日期设定为从今天起向前回滚8个月。

image.png
（2）在powerBI中构建一个日期表，用日期表的日期关联宽表timeline的日期。目的是：所有的日期筛选字段都从日期表出，实现时间筛选器的唯一性。
日期表的构建比较简单，从某乎借鉴的。

日期表 = ADDCOLUMNS (
    CALENDAR(DATE(2019,1,1),LASTDATE('YG_ALL Timeline'[日期])),
    "年",YEAR([Date]),
    "季度","Q" & ROUNDUP(MONTH([Date])/3,0),
    "月",MONTH([Date]),
    "日",day([Date]),
    "周",WEEKNUM([Date]),
    "年季度",YEAR([Date]) & "Q" & ROUNDUP(MONTH([Date])/3,0),
    "年月",YEAR([Date])*100+MONTH([Date]))

（3）人员架构表的处理与搭建，ad_jg_shishi
人员架构表的难点在于，每日一份人员架构表（例如昨天1000个经纪人，今天可能有1500个经纪人），因此这份人员架构表是实时变动的。目前采取处理方式是每天读取一份.csv的人员架构表，进行相关处理，导入powerBI。
引入相关包；

import pandas as pd
import datetime
import glob
import os
from sqlalchemy import create_engine
import warnings
import pymysql
pymysql.install_as_MySQLdb()
warnings.filterwarnings("ignore")

每天动态查找文件夹，获取最新架构表的地址；

# 文件地址获取
path=os.path.join(r'\\10.8.29.213','日常文件存档', '08 战报每日存档', today_1)
Ad_path=''.join(glob.glob(os.path.join(path,'在职人员明细*')))
Ad_path = Ad_path.strip()

if not os.path.exists(Ad_path):
    today_1=str(datetime.datetime.now().year)+'.'+str(datetime.datetime.now().month)+'.'+str(datetime.datetime.now().day-1)
    path = os.path.join(r'\\10.8.29.213', '日常文件存档', '08 战报每日存档', today_1)
    Ad_path = ''.join(glob.glob(os.path.join(path, '在职人员明细*')))
    # print(Ad_path)

根据业务所需，进行相关字段处理，例如有些字段需要简称，有些人员入职天数短被豁免不计入考核；

df_aoding = pd.read_csv(Ad_path, header=0)
df_aoding.drop_duplicates(subset=['工号'],keep='first',inplace=True)
df_aoding_tichu = df_aoding[df_aoding.权限.isin(['综合经纪人','联动经纪人','买卖经纪人','新房经纪人'])]
df_aoding_tichu.工号 = df_aoding_tichu.工号.astype(str)
df_aoding_tichu.事业部 = df_aoding_tichu.事业部.str.replace("事业部","").replace("链家豪宅","豪宅")
df_aoding_tichu["在职天数"] = (datetime.datetime.today()-pd.to_datetime(df_aoding_tichu.入职日期)).astype(str).str.split(" ",expand=True)[0]
df_aoding_tichu["在职天数"]=df_aoding_tichu["在职天数"].astype(int)
df_aoding_tichu.loc[df_aoding_tichu["事业部"]!="豪宅","大区"]=df_aoding_tichu['大区'].str.replace("区","大区")
df_aoding_tichu = df_aoding_tichu[df_aoding_tichu.在职天数>90]

根据经纪人职级的不同，为其贴标签；

zhiji_map = {'A0':'A0~2','A0/2':'A0~2','A1':'A0~2', 'A2':'A0~2','A3':'A3~5','A4':'A3~5','A5':'A3~5',
         'A6':'A6~10','A7':'A6~10','A8':'A6~10','A9':'A6~10','A10':'A6~10',
         'M1':'M1~M5','M2':'M1~M5','M3':'M1~M5','M4':'M1~M5','M5':'M1~M5',
         'M6':'M6~M10','M7':'M6~M10','M8':'M6~M10','M9':'M6~M10', 'M10':'M6~M10'}
df_aoding_tichu['职级分类'] = df_aoding_tichu['职级'].map(zhiji_map)

最新的人员架构的工号，一对多关系连接timeline（含带看+认购信息），并且计算好基础字段（也可以在powerBI里面计算，但推荐能在代码里面实现的尽量在代码里面实现，毕竟代码比powerBI的DAX函数稳定，本人在DAX函数里面踩过坑）;

## 拼接最新带看日期
engine_b = create_engine('mysql+pymysql://root:yunguan@520@10.8.29.213:3306/YG_ALL')
sql_b = '''
select aa.成交经纪人工号,aa.历来最新带看日期,bb.当月带看天数,bb.当月最新带看日期
from
(select 成交经纪人工号,MAX(日期) as 历来最新带看日期 from Timeline_3 where 类别='A带看' group by 成交经纪人工号) aa
left join 
    (select 成交经纪人工号,count(distinct 日期) as 当月带看天数,count(distinct 项目名称) as 当月带看项目数,max(日期) as 当月最新带看日期
    from Timeline_3
    where 类别='A带看'
    and 日期>=date_add(curdate(), interval - day(curdate()) + 1 day) and 日期<=last_day(curdate())
    group by 成交经纪人工号
  ) bb
on aa.成交经纪人工号=bb.成交经纪人工号;
'''
df_c = pd.read_sql(sql=sql_b,con=engine_b)
###合并表，拼接最新带看日期
ad_jg_shishi = pd.merge(df_aoding_tichu,df_c,left_on='工号',right_on='成交经纪人工号',how='left')
ad_jg_shishi["至今未带看天数"] = (datetime.datetime.today()-pd.to_datetime(ad_jg_shishi.历来最新带看日期)).astype(str).str.split(" ",expand=True)[0]

###至今未带看天数的分箱操作
ad_jg_shishi["至今未带看天数"] = ad_jg_shishi["至今未带看天数"].replace("NaT","1000000").astype(int)
ad_jg_shishi["至今未带看标签"] = pd.cut(ad_jg_shishi.至今未带看天数,bins=[-1,7, 30, 60, 90, 200,1000003],
                                 labels=['A.7天内','B.8~30天','C.31~60天','D.61~90天','E.91~200天','F.200天以上'] )

6.powerBI面板数据可视化
（1）表关系搭建
ad_jg_shishi的工号，一对多关联Timeline表的经纪人工号。
新建的日期表的日期，要一对多关联Timeline表的日期。

image.png

（2）度量值
相关关键指标计算如下。

带看人数 = CALCULATE(DISTINCTCOUNT('YG_ALL Timeline'[成交经纪人工号]),FILTER('YG_ALL Timeline','YG_ALL Timeline'[客源编号]<>""),FILTER('YG_ALL Timeline','YG_ALL Timeline'[成交事业部]<>""))+0
带看量 = CALCULATE(DISTINCTCOUNT('YG_ALL Timeline'[带看标记]),FILTER('YG_ALL Timeline','YG_ALL Timeline'[类别]="A带看"))
工号计数 = DISTINCTCOUNT(ad_jg_shishi[工号])
至今未带看标签分类 = COUNTA(ad_jg_shishi[至今未带看标签])
各职级计数 = COUNTA(ad_jg_shishi[职级分类])
产生过带看的人数 = DISTINCTCOUNT(ad_jg_shishi[成交经纪人工号])

7.结果展示

image.png image.png
链接预览。个人把数据源搬到了本地数据库，暂时不会实时刷新。
https://app.powerbi.com/view?r=eyJrIjoiOGU3MTY2NzMtNDZkNi00ZmIwLWI5NzMtNGRhZWUyM2JiZWYzIiwidCI6IjRmZWQ1OTVkLTRlOGUtNGM5Zi04NTMwLWY3OGZmYzg0NmMwYyJ9