requests+beautiful 用Python抓取豆瓣电

2017-11-11 本文已影响389人无鱼二饼

在公司加班等双11，练手写了个抓取豆瓣电影评分的脚本，分享一下

环境

Python3.6
requests, 前几个月才知道这个包的，上手比urllib快多了
BeautifulSoup，很好用的网页分析工具包，见过的爬虫教程都有提过

网络请求分析

老套路，打开豆瓣网站，按Ｆ１２打开浏览器的开发者工具。
点击"分类"，并选择"电影"。
把页面拉到最下方，点击"加载更多"按钮。
观察点击以后，页面发起的网络请求，发现其中有加载json数据的请求。

图片.png
打开这个请求的网址，结果很明显就是各个电影的评分。

图片.png

分析请求结构

看一下这个网址的结构，是个GET请求，豆瓣很厚道，点个赞！
https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=%E7%94%B5%E5%BD%B1&start=0
这个请求的头部分'https://movie.douban.com/j/new_search_subjects'，包含了协议、主机、路由等信息，不用管。重要的是'?'后面的参数：

'sort=T'明显是指定排序方法。
'range=0,10'作用不明（本来以为是分页参数，但删除或者改变值，都没啥影响，不管它）。
'tags=%E7%94%B5%E5%BD%B1'其实就是转码以后的'tags=电影'。
'start=0'，改变成5以后再请求一次，可以发现是返回的记录位置。

分析返回的JSON数据

这个请求返回的是一个JSON数组，包含20个电影的简单数据，其中：

'directors', 是导演
'rate', 是评分
'star', 是评星
'title', 电影名称
'url', 电影详情页面链接
'casts', 主要演员
'cover', 封面
'id', 编号
'cover_x' 和 'cover_y'，迷糊好一阵，看列表页结构才发现是封面的位置...

分析电影详情页面的结构

打开肖申克的救赎，查看其详情页面的结构，哇，好多的js脚本，多半是个异步加载的网页。
不过没关系，这是beautifulsoup大显身手的时候了。
先使用浏览器的开发工具找到需要抓取的数据，类型标签、上映日期等，都保存在<div id="info">标签中。把标签记下来，待会要用到。

图片.png

设计数据结构

需要保存每部电影的名称、评分、导演、主要演员、类型、上映日期、制片国家/地区、片长。设计数据结构，

{
  'title':'肖申克的救赎',
  'rate':NumberInt(96),
  'director':['弗兰克·德拉邦特',],
  'casts':["蒂姆·罗宾斯","摩根·弗里曼","鲍勃·冈顿","威廉姆·赛德勒","克兰西·布朗"],
  'tags':['剧情','犯罪'],
  'country':'美国',
  'release':'1994-09-10',  // 只取第一个日期
  'minutes':NumberInt(142)
}

编写代码

写个简单的示例

抓取简介的脚本

import requests
# 拼接简介列表请求的网址, startnum=0则查询0-19条记录。=1则查20-39条记录
startnum = 0
url = 'https://movie.douban.com/j/new_search_subjects?sort=T&tags=电影&start=%d' % startnum*20
# 获得前20条的记录
movie_data = requests.get(url)
# 转成list
movie_data = movie_data.json()['data']

抓取单电影详情页面中的数据

# 以movie_data[0]第一条电影的记录为例
import requests  
from bs4 import BeautifulSoup as bs # 加载beautifulsoup包
# 获得单部电影的页面
tmp = requests.get(movie_data[0]['url'])
# 将页面转成BeautifulSoup对象
tmp = bs(tmp.text)
# 提取<div id='info'>的部分
tmp = tmp.body.find('div',id='info')
# 提取类型标签
genre = tmp.find_all('span', property='v:genre')
movie_data[0]['tags'] = [i.text for i in genre]
# 提取国家,搜索<span>制片国家/地区:</span>的下个兄弟节点
country = tmp.find('span', text='制片国家/地区:').next_sibling[1:]
movie_data[0]['country'] = country
# 提取第一个上映日期,搜索<span property='v:initialReleaseDate'></span>中的文本值
release = tmp.find('span', property='v:initialReleaseDate').text
# 提取时长,搜索<span property='v:runtime'>标签中的content属性
minutes = tmp.find('span', property='v:runtime').get('content')
movie_data[0]['minutes'] = minutes

完整脚本

#coding:utf-8
"""抓取豆瓣电影资料"""

class get_douban(object):
    """抓取豆瓣电影资料"""
    def __init__(self, startnum=0): # startnum是第一条记录的位置，每次抓取20条
        self.movie_list = []
        self.db = {'host':'localhost', 'port':<port>, 'db':'<dbname>','collection':'<collectionname'}
        self.startnum = startnum
    
    def get_movielist(self):
        """获得电影列表"""
        import requests
        # 拼接简介列表请求的网址, startnum=0则查询0-19条记录。
        url = 'https://movie.douban.com/j/new_search_subjects?sort=T&tags=电影&start=%d' % self.startnum
        # 获得前20条的记录
        tmp = requests.get(url)
        # 转成list
        tmp = tmp.json()['data']
        # 保存所需要的数据
        for i in tmp:
            self.movie_list.append({
                'title':i['title'],
                'rate':int(float(i['rate'])*10),
                'director':i['directors'],
                'casts':i['casts'],
                'url':i['url'],
                'tags':[],
                'country':'',
                'release':'',
                'minutes':int(0)
            })
    
    def get_oneinfo(self):
        """逐个打开电影的详情页面，获得数据"""
        import requests
        from bs4 import BeautifulSoup as bs
        from time import sleep
        for item in self.movie_list:
            # 获得单部电影的页面
            tmp = requests.get(item['url'])
            # 将页面转成BeautifulSoup对象
            tmp = bs(tmp.text, 'lxml')
            # 提取<div id='info'>的部分
            tmp = tmp.body.find('div',id='info')
            # 提取类型标签
            genre = tmp.find_all('span', property='v:genre')
            item['tags'] = [i.text for i in genre]
            # 提取国家,搜索<span>制片国家/地区:</span>的下个兄弟节点
            country = tmp.find('span', text='制片国家/地区:').next_sibling[1:]
            item['country'] = country
            # 提取第一个上映日期,搜索<span property='v:initialReleaseDate'></span>中的文本值
            release = tmp.find('span', property='v:initialReleaseDate').text
            item['release'] = release[:10]
            # 提取时长,搜索<span property='v:runtime'>标签中的content属性
            minutes = tmp.find('span', property='v:runtime').get('content')
            item['minutes'] = int(minutes)
            # 休眠1秒
            sleep(1)
    
    def save_db(self):
        """保存到mongodb数据库"""
        from pymongo import MongoClient
        conn = MongoClient(host=self.db['host'], port=self.db['port'])
        conn = conn.get_database(self.db['db'])
        conn = conn.get_collection(self.db['collection'])
        for item in self.movie_list:
            conn.insert_one(item)

if __name__ == '__main__':
    # 抓取400条记录
    for i in range(20):
        s = get_douban(i*20)
        s.get_movielist()
        s.get_oneinfo()
        s.save_db()
        print('get %d - %d ' %(i*20, (i+1)*20-1))