python简单分析《一出好戏》，黄渤导演处女作

平时最爱黄渤，智商情商双高，作品幽默又搞笑，为人也很随和。
吧啦吧啦，此处省略2万字。。。无奈，不善言辞，请原谅）

我们简单看一下他的处女导演做品：《一出好戏》 一出好戏

数据来源：猫眼app 网站上拿不到数据，只能从app获取

## 设置headers和cookie
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win32; x32; rv:54.0) Gecko/20100101 Firefox/54.0',
      'Connection': 'keep-alive'}
cookies = 'v=3; iuuid=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; webp=true; ci=1%2C%E5%8C%97%E4%BA%AC; __guid=26581345.3954606544145667000.1530879049181.8303; _lxsdk_cuid=1646f808301c8-0a4e19f5421593-5d4e211f-100200-1646f808302c8; _lxsdk=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; monitor_count=1; _lxsdk_s=16472ee89ec-de2-f91-ed0%7C%7C5; __mta=189118996.1530879050545.1530936763555.1530937843742.18'
cookie = {}
for line in cookies.split(';'):
    name, value = cookies.strip().split('=', 1)
    cookie[name] = value

## 爬取数据，每次理论上可以爬取1.5W调数据，存在大量重复数据，需要多次执行，最后统一去重
tomato = pd.DataFrame(columns=['userId', 'nickName', 'date', 'score', 'city', 'comment'])
for i in range(0, 1000):
    j = random.randint(1, 1000)
    print(str(i) + ' ' + str(j))
    try:
        time.sleep(2)
        url = 'http://m.maoyan.com/mmdb/comments/movie/1203084.json?_v_=yes&offset=' + str(j)
        html = requests.get(url=url, cookies=cookie, headers=header).content
        data = json.loads(html.decode('utf-8'))['cmts']
        for item in data:
            tomato = tomato.append({'userId':item['userId'] , 'nickName':item['nickName'], 'date': item['time'].split(' ')[0], 'city': item['cityName'],
                                'score': item['score'], 'comment': item['content']}, ignore_index=True)

        tomato.to_excel('./一出好戏.xlsx', index=False)
    except:
        continue

获取的评论信息，你也可以修改一下电影的ID，获取你想要的电影的数据。

我这里获取的主要信息有：用户ID，昵称，日期，评分，城市，评论内容

因为获取的用户数据会有重复数据，所以我用userId来进行去重操作

去重操作

# 根据userId进行去重, 获取去重后的真实数据
data = csvFrame.drop_duplicates(['userId'])

目标：获取全国各个城市的平均评分和对电影的热爱程度
接下来就是对数据进行过滤，筛选

  # 1、查看是否有缺省参数，如果有直接删除该条数据

然后我们按城市分组，发现有很多城市的数据只有1，2条，这些数据太少不足以代表改城市，所有我们选出 >10 条数据的城市

# 根据城市进行分组
cityGroup = data.groupby("city")

# 评分人数 > 10的方为有效评分城市
countInfo = cityGroup.count()
data2 = countInfo[countInfo['userId']>10]

获取城市的评分

# # 真实数据根据城市进行分组
cityGroup2 = frame.groupby("city")
cityScores = cityGroup2['score']

# 获得城市的平均分 和 观看人数
city_com = cityScores.agg(['mean', 'count'])
citys = city_com.index
city_mean = city_com["mean"].values
city_count = city_com["count"].values

# 对打分数据进行优化处理，保留两位小数
city_mean = np.array(city_mean)
city_score = np.round(city_mean, 2)

接下来就是对数据进行可视化展示：

# 主城市打分柱状图
bar = Bar("《一出好戏》部分城市评分", "猫眼均分")
bar.add("Score", citys, city_score)
bar.show_config()
bar.render(path="./signs/评分柱状图.html")

评分柱状图

全国观看热力图

geo = Geo('《一出好戏》观众分布图', title_color="#fff",
      title_pos="center", width=1200, height=600,     background_color='#404a59')
geo.add("", citys, city_count, type='heatmap', visual_range=[0, 35],
    visual_text_color="#fff", symbol_size=10, is_visualmap=True,
    is_roam=False)
geo.render('./signs/观众分布图.html')

观众分布

观看占比

pie = Pie()
pie.add("", citys, city_count, is_label_show=True)
pie.render(path="./signs/观众占比饼图.html")

观看占比.png

绘制词云
对中文分词用的是jieba，词频统计用的是TD-IDF
最后选出出现次数最多的前100个关键词，也可以选择大于指定阀值

# 大于指定数值
# print(ser[ser.values > 0.05])
# 排序，选择前n个
ser2 = ser.sort_values(ascending=False)
# 获取排名靠前的100个单词
worlds = ser2[0:100].index

注意点：在过滤关键词时，可以选择国内指定的停用统计词，这里之所有没有使用，是因为对电影的评价的词在停用词库中，如：一般 关键词.png

关注公众号：Python疯子 后台回复： 一出好戏 获取源代码
分享最实用的Python功能，下期分享 地图功能

公众号：Python疯子