IMDB-10000电影数据分析

问题描述

某公司将新制作一部电影，他们希望通过IMDB的电影数据来了解电影市场，知道什么样的电影辉有比较好的市场。 并且想要通过数据解决以下问题

• 电影类型是如何随着时间的推移发生变化的？

数据理解

  #先导入包
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
#首先把数据导入进来
imdb = pd.read_csv('./imdb_10000_movies.csv')
#大概看一下数据是什么样的
#imdb.head(3)
imdb.info()


<class 'pandas.core.frame.DataFrame'>
RangeIndex: 9949 entries, 0 to 9948
Data columns (total 9 columns):
imdb_id       9949 non-null int64
imdb_name     9949 non-null object
item_year     9949 non-null int64
runtime       9949 non-null object
generss       9949 non-null object
rating_num    9949 non-null float64
matescore     9949 non-null object
vote_count    9949 non-null int64
gross         9949 non-null object
dtypes: float64(1), int64(3), object(5)
memory usage: 699.6+ KB
None

在将数据导入以后，首先要对数据进行理解，即知道各个数据所代表的含义。 数据字段含义如下：

• imdb_id : IMDB标识号
• imdb_name : 电影名称
• item_year : 上映时间
• runtime : 播放时长
• generss : 电影类型，最多五项
• rating_num : 评分，10分制
• matescore : 评分，100分制
• vote_count : 投票数
• gross : 票房数据，单位美元
  当然，这些数据字段也不是每一个都是我们本次分析所需求的，我们只需要用到所分析的字段就好。 在接下来的过程中，根据所要解决的问题，首先对这些数据进行一个清洗和处理

数据清洗

问题实际上是在探讨电影的类型和时间的关系，所以要对这两个字段进行分析。 而电影的类型并不是一个可以量化的标准，所以要对这些数据进行一些处理。

# 时间有可能出现缺失值，
#首先我们查询缺失了上映日期的是哪一部电影
imdb[imdb.release_date.isnull().values == True]
#然后查询这个电影的上映日期
#填充缺失值
imdb.release_date = imdb.release_date.fillna('2014-06-01')
#把这一个字段的数据转化为时间格式
imdb.release_date = pd.to_datetime(imdb.release_date)
#把上映的年份提取出来,新建一个列
imdb.loc[:, 'year'] = [i.year for i in imdb.release_date]
imdb.head(2)

	imdb_id	imdb_name	item_year	runtime	generss	rating_num	matescore	vote_coun	gross	year
0	1	The Shawshank Redemption	1994-01-01	142 min	[Crime,Drama]	9.3	80	1946580	$28.34M	1994
1	2	The Dark Knight	2008-01-01	152 min	[Action,Crime,Drama]	9.0	82	1918322	$534.86M	2008

• 可以发现每个电影都有几种类型，我们需要把这些类型单独提出来
• 观察发现电影类型的首字母都是大写的
• 所以使用正则表达式，建立一个提取单词的函数
• 用map函数作用于整列

#导入正则包
import re
#建立函数
def fenge(str):
    pattern = re.compile(r'\b[A-Z]\w+')   # 查找首字母大写
    strr = pattern.findall(str)
    return strr
#将函数应用到整列
#再将其添加到原来的数据中
imdb['generss'] = list(map(fenge, imdb.genres))
#由于目前解决的是问题1，所以先把这两列单独拿出来计算
q1 = pd.DataFrame({'generss': imdb.generss, 'year':imdb.year})
q1.info()
q1.head(5)

	generss	year
0	[Crime, Drama]	1994
1	[Action, Crime, Drama]	2008
2	[Action, Adventure, Sci, Fi]	2010
3	[Drama]	1999
4	[Crime, Drama]	1994

#可以发现，电影类型的数据是以列表形式存储的，这不利于我们接下来的运算
#首先把电影类型和年份做成一个新的列表，再重新组合
lis1 = []
lis2 = []
for i in range(len(q1.year)):
    for j in q1.generss[i]:
        lis1.append(j)
        lis2.append(q1.year[i])
q11 = pd.DataFrame({'genress':lis1, 'years':lis2, 'counts':1})        

#先简单的看一下数据情况
#可以发现我们成功的分离了电影类型
q11.head(8)

	counts	genress	years
0	1	Crime	1994
1	1	Drama	1994
2	1	Action	2008
3	1	Crime	2008
4	1	Drama	2008
5	1	Action	2010
6	1	Adventure	2010
7	1	Sci	2010

接下来继续去看问题，电影类型是如何通过时间的类型变化的？

• 首先我们看一下电影的类型总数是如何变化的

#对数据进行处理,得出每年份电影总数
q12 = q11.groupby('years').agg(np.sum)
#把年份重新变成列
q12['years'] = q12.index.get_level_values('years')

#绘图
plt.plot(q12.years, q12.counts,'c')
#设置坐标轴范围和标签
plt.axis([1916, 2016, 0, 700])
#坐标轴使用中文
plt.xlabel('时间', fontproperties = 'SimHei', fontsize = 15, color = 'black')
plt.ylabel('电影类型数', fontproperties = 'SimHei', fontsize = 15, color = 'black')
#设置图例和网格
plt.grid()
plt.legend()
plt.show()

电影类型总数随时间变化

• 电影类型随时间变化趋势

q14 = pd.pivot_table(q11, index = ['genress', 'years'], values = ['counts'], aggfunc = np.sum)
#把年份和类型重新变成列
q14['years'] = q14.index.get_level_values('years')
q14['genress'] = q14.index.get_level_values('genress')


#把画布设置大一些
plt.figure(figsize = (20, 10))
#循环画出每一个电影类型随着时间变化的折线图
#list1是之前对电影类型的统计
for i in set(lis1):
    plt.plot(q14[q14.genress == i].years, q14[q14.genress == i].counts, label = i)
    #label用来设置图例
    plt.legend()
#设置标题和坐标轴的字体大小和颜色
plt.title(u'电影类型随时间的变化 ', fontsize = 20, color = 'blue')
plt.xlabel('Release time', fontsize = 20, color = 'blue')
plt.ylabel('counts', fontsize = 20, color = 'blue')
plt.show()

电影类型随时间的变化