Pandas实战（租房数据处理）
2017-12-27 本文已影响0人
manbug
背景：甲方需要xxx地的租房历史交易数据，于是用不可描述的方式搞到了一批包含各个中介公司的16，17年的历史交易数据（excel表）。于是就以此为基础，开始了创造数据的历程。
- 整体逻辑
有数据总量比较少的时候，这时候需要把16,17年数据合并，重新赋予时间。之后先预处理groupby（有些房子信息挂了好几次，一直没租出去），再过滤掉租金，每平米租金常识性不合理的数据，接下来生成成交时间，租金，租期，免租期，付款方式，住宅类型，最后再根据淡旺季为每个月保留合理数量。
该脚本放在了django项目里（因为有时涉及到poi相关信息的匹配，懒得额外复制代码了）
from django.core.management.base import BaseCommand
class Command(BaseCommand):
help = """
创造租房数据
"""
def handle(self, *args, **options):
print("Starting...\n\n")
self.main()
print("\n\nEnding...")
def main(self):
df1 = pd.read_excel("./RawData/绍兴__2016年.xlsx")
df2 = pd.read_excel("./RawData/绍兴__2017年.xlsx")
df = reset_month([df1, df2])
df["年份"] = df["时间"].dt.year
df_2016 = df[df["年份"] == 2016]
df_2017 = df[df["年份"] == 2017]
# 临时
# df_2015 = df[df["年份"] == 2015]
# df_2015["月租金"] = df_2015["月租金"] * (0.9 - 0.1 * random.random())
# df_2015["月租金"] = df_2015["月租金"].map(fake_num)
self.step2(df_2016, ex_name="绍兴__2016年.xlsx")
self.step2(df_2017, ex_name="绍兴__2017年.xlsx")
def step2(self, df, ex_name):
# GROUPBY
df = df.fillna("-").groupby(
["小区名称", "地址", "行政区", "X坐标", "Y坐标", "地图类型", "楼盘性质", "建筑面积", "所在层", "总楼层", "居室",
"朝向", "建筑年代", "开发商", "装修", "月租金", "中介公司", "年份"])[["时间"]].min().reset_index()
min_rent = 300
min_per_rent = 10
max_per_rent = 140
max_chengjiao_date = '2017-12-20 00:00:00'
zhongjie_name = "xx地产"
df = self.pretreatment(df, min_rent, min_per_rent, max_per_rent)
df = self.chengjiaoshijian(df, max_chengjiao_date)
print("Already chengjiaoshijian")
df = self.chengjiaozujin(df)
df = self.zuqi(df)
df = self.mianzuqi(df)
df = self.fukuanfangshi(df)
df = self.zhuzhaileixing(df)
# df = self.chuzuxingshi(df)
print("Already zhuzhaileixing")
# 创造数据
df = self.make_new_data(df, MONTH_RATE, zhongjie_name)
print("Already make new data")
df = df.drop(["X坐标", "Y坐标", "地图类型", "年份", "每平米月租金", "月份", "成交时间差", "溢价", "楼盘性质"], axis=1)
df.to_excel("./ProdData/{}".format(ex_name))
- 合并表格，随机赋予日期
16，17年数据46开分配
def strTimeProp(start, end, format, prop):
stime = time.mktime(time.strptime(start, format))
etime = time.mktime(time.strptime(end, format))
ptime = stime + prop * (etime - stime)
return time.strftime(format, time.localtime(ptime))
def randomDate(start, end, prop):
return strTimeProp(start, end, '%m-%d-%Y', prop)
def reset_month(li):
"""
合并表格，并重新生成时间，月份
:param li: 多个dataframe的列表
:return:
"""
df = pd.concat(li)
for index, row in df.iterrows():
r = random.randint(1, 10)
if r <= 4:
df.set_value(index, "时间", randomDate("1-1-2016", "1-1-2017", random.random()))
else:
df.set_value(index, "时间", randomDate("1-1-2017", "11-30-2017", random.random()))
return df
- 预处理
15年的数据由16年生成，为了真实性，租金要混淆，精确度取决于租金的数量级（千精确到百，万精确到千）
def fake_num(num):
if num / 10000 > 1:
num = int(num / 1000) * 1000
elif num / 1000 > 1:
num = int(num / 100) * 100
else:
num = int(num / 10) * 10
return num
过滤月租金，每平米租金不合理数据
def pretreatment(self, df, min_rent, min_per_rent, max_per_rent):
df = df[df["月租金"] > min_rent]
df["每平米月租金"] = df["月租金"] / df["建筑面积"]
df = df[(df["每平米月租金"] > min_per_rent) & (df["每平米月租金"] < max_per_rent)]
df["月份"] = df["时间"].dt.month
# 检查区间数量是否合适
# pd.value_counts(pd.cut(df["每平米月租金"], bins=range(0, 500, 10))) / len(df)
return df
- 成交时间
def chengjiaoshijian(self, df, max_chengjiao_date):
"""
成交时间修改
----重新计算淡旺季在各个领域下的分配比
"""
# whole_hot = 0.9 * 1 +11.2 * 0.98 + 26.44 * 0.6
# whole = 29.58 + 18.28 + 9.3
# whole_cold = 11.2 * 0.02 + 26.44 * 0.4 + 4.11 + 0.17 + 0.02
# eg_1_hot_rate = (0.9 * 1) / whole_hot
# 重新推导出规则如下
"""
成交时间：
上架时间 当天 0.9%（旺季） 旺季 0.0324
上架时间+[1-7天] 11.2%（98%在旺季） 旺季 0.3957 淡季 0.0148
上架时间+[8-14天] 26.44%（60%在旺季） 旺季 0.5719 淡季 0.7004
上架时间+[15-21天] 29.58% 季 0.5175
上架时间+[22-28天] 18.28% 季 0.3198
上架时间+[29-42天] 9.3% 季 0.1627
上架时间+[42-60天] 4.11%（淡季） 淡季 0.2723
上架时间+[61-90天] 0.17%（淡季） 淡季 0.0112
上架时间+[91-100天] 0.02%（月租金贵的，且在淡季） 淡季 0.0013
* 淡季：每年10月到次年1月
旺季：2月到3月，6月到7月
"""
DAY_DELTA = datetime.timedelta(days=1)
def judge_season(date):
if not date:
return ""
month = date.month
if month > 10 or month == 1:
return "淡季"
elif month in (2, 3, 7):
return "旺季"
else:
return "平季"
def float_date(date, start, end):
r = random.randint(start, end)
new_date = date + DAY_DELTA * r
return new_date
def make_random_closing_time(date):
season = judge_season(date)
if not season:
print("fuck no season")
return date
i = random.randint(1, 10000)
if season == "旺季":
if i <= 324:
return date
elif 324 < i <= 4281:
return float_date(date, 1, 7)
else:
return float_date(date, 8, 14)
elif season == "平季":
if i <= 2000:
return float_date(date, 1, 7)
elif i <= 5500:
return float_date(date, 8, 14)
elif i <= 8500:
return float_date(date, 15, 21)
elif i <= 10000:
return float_date(date, 22, 28)
else:
return float_date(date, 29, 42)
elif season == "淡季":
if i <= 148:
return float_date(date, 1, 7)
elif 148 < i <= 7152:
return float_date(date, 8, 14)
elif 7152 < i <= 9875:
return float_date(date, 42, 60)
elif 9875 < i <= 9987:
return float_date(date, 61, 90)
else:
return float_date(date, 91, 100)
import random
for idx, row in df.iterrows():
df.set_value(idx, "成交时间", make_random_closing_time(row["时间"]))
df["成交时间差"] = df["成交时间"].subtract(df["时间"]).dt.days
df["成交时间"] = pd.to_datetime(df["成交时间"])
df = df[(df["成交时间"] < max_chengjiao_date)]
return df
- 成交租金，租期，免租期，付款方式，住宅类型 基本同理
- 补数据
依据淡旺季的交易比例筛选数据
def make_new_data(self, df, di, zhongjie_name):
"""
补数据
:param df:
:param di: (1-12月，每个月交易数量)
:param zhongjie_name:
:return:
"""
result = pd.DataFrame()
for month in range(1, 13):
# 每个市都依据总数量指定标准数量
standrad = make_random(di[month] * len(df) / sum(di.values()))
df_onemonth = df[df["月份"] == month]
if not len(df_onemonth):
continue
df_onemonth_wo = df_onemonth[df_onemonth["中介公司"] == zhongjie_name]
df_onemonth_wo_not = df_onemonth[df_onemonth["中介公司"] != zhongjie_name]
amount = len(df_onemonth_wo)
if amount > standrad:
result = result.append(df_onemonth_wo.sample(n=standrad))
continue
d_value = standrad - amount
if d_value > len(df_onemonth_wo_not):
d_value = len(df_onemonth_wo_not)
result = result.append(df_onemonth_wo)
result = result.append(df_onemonth_wo_not.sample(n=d_value))
result["中介公司"] = zhongjie_name
return result
总结：
整个流程无非是按照某个规则来顺序处理数据，需要注意的只有几个dataframe方法的使用：
可以先去过一遍Pandas使用基础
1. 日期转年/月
df["年份"] = df["时间"].dt.year
2. GROUPBY先fillna
df = df.fillna("-").groupby([...])[["时间"]].min().reset_index()
因为如果某一行作为groupby的列为空（nan），那么这一列必定不会出现在groupby的结果里
3. 删除列
df = df.drop(["X坐标", "Y坐标", "地图类型", "年份", "每平米月租金", "月份", "成交时间差", "溢价", "楼盘性质"], axis=1)
4. 随机取一些行
df.sample(n=int)
5. 时间格式
df["成交时间"] = pd.to_datetime(df["成交时间"])
6. 结果统计
数值：df["时间"].dt.month.value_counts()
区间：pd.value_counts(pd.cut(df["溢价"], bins=range(0, 600 + 1, 300))) / len(df)
7. Series操作使用函数
df_2015["月租金"] = df_2015["月租金"].map(fake_num)
