爬虫的目标

爬取猫眼电影TOP100的电影名称，时间，评分，图片等信息

猫眼TOP100网站:http://maoyan.com/board/4

---

抓取分析

查看网页源代码，找到对应的目标信息，发现一部电影对应的源代码是一个dd节点

---

抓取首页

为了方便，这里先抓取第一页的内容,运行之后，可以查看到网页的源代码，之后需要对页面进行解析。

import requests
def get_one_page(url):
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'  
    }  #头信息，爬取一些网站时需要加上，否则可能会爬取失败
    response = requests.get(url,headers=headers)
    if (response.status_code==200):
        return response.text  #返回网页内容
    return None

def main():
    url = 'http://www.maoyan.com/board/4'
    html = get_one_page(url)
    print(html)
main()

---

正则匹配

正则表达式匹配对应的电影排名，图片，名称，内容，主演，发布时间，评分等7个内容

首先先看看正则匹配电影排名:<dd>.?board-index.?>(.*?)</i>

(.*?)是方便可以用group()得到所要的结果

下面贴出爬取以上7种的正则表达式(较复杂，在后续的文章中会改进，这里只做简单使用)

<dd>.?board-index.?>(.?)</i>.?data-src="(.?)".?name.?a.?>(.?)</a>.?star.?>(.?)</p>.?releasetime.?>(.?)</p>.?integer.?>(.?)</i>.?fraction.?>(.?)</i>.?</dd>

通过调用findall()方法提取所有内容，接下来，我们定义一个解析页面的方法parse_one_page(),代码如下

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S)
    items = re.findall(pattern,html)
    print(items)

成功将一页的信息打印出来，以列表的形式，下面是输出结果:

将提取的匹配结果从列表转换成字典格式

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',re.S)
    items = re.findall(pattern,html)
    for item in items:
        yield{
            'index':item[0],
            'image':item[1],
            'title':item[2].strip(),
            'actor':item[3].strip()[3:] if len(item[3])>3 else '',
            'time':item[4].strip()[5:] if len(item[4])>5 else '',
            'score':item[5].strip() + item[6].strip()
            }

---

写入文件

dumps是将dict转化成str格式
content是一个字典类型的数据，一部电影的提取结果
ensure_ascii=False保证写入文件的是中文而不是Unicode编码

def write_to_file(content):
    with open('result.txt','a',encoding='utf-8') as f:
        print(type(json.dumps(content)))
        f.write(json.dumps(content,ensure_ascii=False)+'\n')

---

分页爬取

if __name__=='__main__':
    for i in range(10):
        main(offset=i*10)
        time.sleep(1)

---

本章总结

通过本次练习，加强掌握requests和re库的用法，这只是一个简单的爬虫实例，后续会继续更新更多的爬虫文章
ps:参考教程:Python3爬虫开发实战
源代码会在后续中上传至github