利用requests和正则表达式抓取猫眼电影top100

前言

刚学了正则表达式，赶紧用它来练练手，以防搞忘了。这次练习的目标比较简单，就是爬取猫眼电影top100，具体包括电影排名，片名，主演，上映时间，评分等信息。最后存储为txt文件。和爬取豆瓣电影电影top250十分类似。

分析目标网页

打开目标URL：http://maoyan.com/board/4?offset=0，

点击下一页，我们会发现URL的参数offset=0变成了offset=10，

多翻几页，会发现offset是以10的倍数增长，从0增到90，每一页是十部电影信息，总共刚好100部。这样我们就可以通过构造参数offset来达到翻页抓取的效果。

构造正则表达式

点击右键-检查，查看网页源代码：

我们发现每部电影都分别在一个<dd>标签中，接着往下看。
我们会发现每部电影的排名信息在<i>标签下属性值为board-index的标签中，我们可以写正则表达式来提取排名信息：

<dd>.*?board-index.*?>(.*?)</i>

我们会发现每部电影的电影名称在<p>标签下，属性值为name的标签中，我们可以这样书写正则表达式来提取电影名称信息：

.*?<p.*?name.*?boarditem-click.*?>(.*?)</a></p>

由于电影名称在<p>标签下的<a>标签下中，这里为了以防匹配出错，最好还是将<a>标签中的一个属性值boarditem-click写在正则表达式中，以提高匹配的精确度。

然后主演在<p>标签下属性值为star的标签中，接着写正则表达式来匹配主演信息：

.*?star.*?>(.*?)</p>

然后电影的上映时间在<p>标签下属性值为releasetime的标签中，正则表达式如下：

.*?releasetime.*?>(.*?)</p>

最后电影的评分在<i>标签下属性值分别为integer和fraction的两个<i>标签中，正则表达式如下：

.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>

最后完整的正则表达式如下：

<dd>.*?board-index.*?>(.*?)</i>.*?<p.*?name.*?boarditem-click.*?>(.*?)</a></p>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>

然后就可以写代码了。

完整代码：

import requests 
import re
import json
from requests.exceptions import RequestException
import time

def get_one_page(url):
"""单个网页的请求"""
    headers = {   
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) '
    }      
    # 这里要添加一个请求头，否则会访问网页失败    
    # 使用 RequestException可以捕捉所有的异常        
    try:  
        response = requests.get(url, headers = headers)        
    except RequestException:                
        return None
    return response.text
    time.sleep(2)  # 休眠2秒钟        

def parse_one_page(html):
"""解析单个网页"""
    pattern = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?<p.*?name.*?boarditem-click.*?>(.*?)</a></p>' + 
                           '.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>' + 
                          '.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>', re.S)
        
    # 使用re.findall方法搜索整个文档，匹配所有能够被匹配的信息    
    items = re.findall(pattern, html)            
    
    # 这里的items是一个列表，使用for循环来遍历    
    for item in items:         # 构造一个迭代器，按字典格式输出               
        yield{                        
            '排名': item[0],                        
            '片名 ': item[1],                        
            '主演': item[2].strip()[3:],                        
            '上映时间': item[3].strip()[5:],                        
            '评分': item[4]+ item[5]  # 将评分信息连接起来
        }           

def write_file(content):   
"""写入文件"""        
    # 写入中文时，这里要指定参数encoding='utf-8'， 否则会出现乱码    
    with open('猫眼电影top100.txt', 'a', encoding='utf-8') as f:        
    # 使用json.dumps方法将字典格式的content转换为字符串格式        
    # 指定参数ensure_ascii=False,否则会出现中文乱码        
    # 末尾加一个换行符，每写入一条信息就换行一次
        f.write(json.dumps(content, ensure_ascii=False) + '\n')
        f.close()

def main(offset):
"""主函数，参数为offset，动态构造URL"""
    url = 'http://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)   # 调用请求函数
    for item in parse_one_page(html): # 调用解析函数
        # print(item)
        write_file(item)  # 调用写入文件函数

if __name__ == '__main__':        
    for i in range(10):
        main(i*10)  # 构造参数offset，达到翻页的效果。

具体细节在注释中有相关的说明，最后我们看一下爬取结果：

爬取结果

你也可以试一试，如果遇到什么问题，欢迎共同讨论~

每天学习一点点，每天进步一点点。