python数据分析：视频网站数据清洗整理和结论研究

人生苦短，我用Python

这次我们来看看以豆瓣为例的视频数据如何清洗以及分析研究。
话不多说，导入模块然后开始！

import numpy as np
import pandas as pd
import os
import matplotlib.pyplot as plt
os.chdir('C:/Users/花伦同学/Desktop/test/04/')#设置默认路径，同样可以根据你的文件存放的位置修改
data = pd.read_csv('爱奇艺视频数据.csv',engine='python')#读取数据
print(data.head(5))#先看看前5条数据。

数据还是挺多的，一共有24列（24个字段）。
这里介绍一个简单查看各项数据的类型的方法df.info()，我输入代码查看一下。

data.info()

数据信息

这样是不是一目了然了。

接下来就可以开始数据的清理工作，我们可以在数据里发现有空值的存在，之前的文章里也介绍过，我们还是看看这个函数。另外，我们将数据获取日期也进行一个清理，将其转化为datetime的数据类型。

#建立清洗数据函数
def clean(df):
    cols = df.columns
    for col in cols:
        if df[col].dtype == 'object':
            df[col].fillna('缺失数据',inplace = True)
        else:
            df[col].fillna(0,inplace = True)           
    return df

#建立时间转换函数
def to_date(df,col):
    #df为处理的数据，col为列名
    df[col] = df[col].str.replace('年','.')
    df[col] = df[col].str.replace('月','.')
    df[col] = df[col].str.replace('日','')
    df[col] = pd.to_datetime(df[col])
    return df

我们使用两个函数进行数据处理，然后在按照导演分类统计，分析各导演的好评率。这里我们只看前20，当然只看前10也是可以的。

data_c = clean(data)
data_c = to_date(data_c,'数据获取日期')
data_1 = data_c.groupby('导演').sum()[['评分人数','好评数']]#按照导演分类统计总数
data_1['好评率'] = data_1['好评数'] / data_1['评分人数']#计算好评率
data_1_top20 = data_1.sort_values('好评率',ascending = False)[:20]

然后做一个简单的柱状图。

fig1 = plt.figure(figsize=(16,4))
data_1_top20['好评率'].plot(kind = 'bar',
                         width = 0.8,
                         facecolor = 'g',
                         ylim = [0.97,1],
                         fontsize = 12,
                         rot = 45)
plt.grid(linestyle = '--',axis = 'y')
plt.title('不同导演的影片好评率',fontsize = 14)

看完了导演的好频率，我们再看看2000年至2016年的各类影视剧的情况，分析2000年至2016年影视评论人数的情况，每年的影视剧评论人数的情况

data_21 = data_c.groupby('整理后剧名').sum()[['评分人数','好评数']]
#data_2.head(5)
data_22 = data_c[['导演','整理后剧名','上映年份']].drop_duplicates()
data_22 = data_22[data_c['上映年份'] != 0]
data_2r = pd.merge(data_22,data_21,right_index = True,left_on = '整理后剧名')
data_2r_1 = data_2r.groupby('上映年份').sum()[['评分人数','好评数']]
print(data_2r.head(10))

fig2 = plt.figure(num = 1)
data_2r_1['评分人数'].plot(kind = 'area',
            color = 'lightblue',
            xlim = [2000,2016],
            figsize = (16,4))
plt.grid(linestyle = '--')
plt.title('2000年至2016年影视评论人数统计图',fontsize = 12)


fig3,axe = plt.subplots(4,4,figsize = (10,16))
a1 = 2001
for i in range(4):
    for j in range(4):
        data_t = data_2r[data_2r['上映年份'] == a1]
        data_t[['评分人数','好评数']].boxplot(whis = 3,ax = axe[i,j])
        a1 += 1

各年度评分人数和好评人数箱型图

通过这两幅图，我很快就能发现一些数据特征：
1.从评论人数来看，2011年和2015年是影视局的一个大爆发
2.从箱型图可以看出各个年份都存在评分人数的异常值。（思考：这些异常值是当年的热门影视剧吗？）

有了这两个直接印象，我们就一起来看看各年度的异常值，都是什么影视剧，是否是当然的热门剧目。

#建立函数，分析数据，确定数据的外限
def data_yc(df,col):
    q1 = df[col].quantile(q=0.25)
    q3 = df[col].quantile(q=0.75)
    iqr = q3 - q1
    tmax = q3 + 3*iqr
    tmin = q3 - 3*iqr
    return (tmax,tmin)

for i in range(2001,2017):
    data_result = data_2r[data_2r['上映年份'] == i]
    print('%i年有%i条数据' % (i,len(data_result)))
    t = data_yc(data_result,'评分人数')
    print(data_result[data_result['评分人数'] > t[0]])
    print('-'*20,'\n')

这里我只截取了前3年的数据结果

和我们印象中当时电视上播出的比较精彩好看的影视剧是吻合的，像什么康熙王朝、大汉天子、神医喜来乐等等（╮(╯▽╰)╭好像暴露年龄了），说明异常值反映的就是当时的热门剧目。