【小白学爬虫连载（8）】--scrapy框架入门教程

欢迎大家关注公众号【哈希大数据】

在本篇分享中，假定您已经安装好Scrapy。 如若不然，请参考Scrapy安装。接下来将通过爬取scrapy官方提供的一个网站，演示如何利用scrapy爬取网页信息。可能有的朋友有疑问，之前已经介绍过requests库，为啥还要用scrapy呢？简单来讲就是requests库适合小批量爬取网页内容，如若需要高频次、大批量爬取网页还是scrapy比较好用，而且很多公司要求熟练掌握scrapy框架，所以技多不压身嘛，接下来咱们就好好学学scrapy。

爬取流程分析

目标网站：http://quotes.toscrape.com/

image

爬取目标：获取所有名言、其作者和标签

爬取流程：首先获取首页目标信息，其次注意到页面中存在下一页的链接，采用递归调用的方式进行翻页爬取，最后保存爬取信息。

接下来介绍如何用scrapy框架实现以上流程。

创建项目

在开始爬取之前，您必须创建一个新的Scrapy项目。 在命令窗口中进入您打算存储代码的目录中，运行下列命令:

scrapy startproject tutorial quotes.toscrape.com

该命令将会创建包含下列内容的 tutorial 目录:

tutorial/
scrapy.cfg
tutorial/
init.py
items.py
pipelines.py
settings.py
spiders/
init.py
...

这些文件分别是:

scrapy.cfg: 项目的配置文件

tutorial/: 该项目的python模块。之后您将在此加入代码。

tutorial/items.py: 项目中的item文件.

tutorial/pipelines.py: 项目中的pipelines文件.

tutorial/settings.py: 项目的设置文件.

tutorial/spiders/: 放置spider代码的目录.

定义Item

Item 是保存爬取到的数据的容器；其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。

类似在ORM中做的一样，您可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field 的类属性来定义一个Item。 (如果不了解ORM, 不用担心，您会发现这个步骤非常简单)

首先根据需要从quotes.toscrape获取到的数据对item进行建模。 我们需要从quotes.toscrape中获取名言，作者以及标签。 对此，在item中定义相应的字段。编辑 tutorial 目录中的 items.py 文件:

import scrapyclass QuoteItem(scrapy.Item):    # define the fields for your item here like:    # name = scrapy.Field()    text = scrapy.Field()    author = scrapy.Field()    tags = scrapy.Field()

一开始这看起来可能有点复杂，但是通过定义item， 您可以很方便的使用Scrapy的其他方法。而这些方法需要知道您的item的定义。

编写第一个爬虫（Spider）

命令窗口中，在 tutorial/spiders 目录下，输入命令：

scrapy genspider quotes quotes.toscrape.com

在该目录下得到quotes.py文件，初始代码如下：

# -*- coding: utf-8 -*-import scrapyclass QuotesSpider(scrapy.Spider):    name = "quotes"    allowed_domains = ["quotes.toscrape.com"]    start_urls = ['http://quotes.toscrape.com/']    def parse(self, response):        pass

完成爬取任务的完整代码如下：

# -*- coding: utf-8 -*-import scrapyfrom quotetutorial.items import QuoteItemclass QuotesSpider(scrapy.Spider):    # spider的名字，该名字必须是唯一的，您不可以为不同的Spider设定相同的名字。    name = "quotes"    allowed_domains = ["quotes.toscrape.com"]    # 包含了Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。    start_urls = ['http://quotes.toscrape.com/']    # parse() 是spider的一个方法。 被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。    def parse(self, response):        # 从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制，有以下四个基本方法：        #1\. xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。        #2\. css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.        #3\. extract(): 序列化该节点为unicode字符串并返回list。        #4\. re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。        quotes = response.css('.quote')        for quote in quotes:            item = QuoteItem()            text = quote.css('.text::text').extract_first()            author = quote.css('.author::text').extract_first()            tags = quote.css('.tags .tag::text').extract()            item['text'] = text            item['author'] = author            item['tags'] = tags            yield item        # 获取下一页的链接        next = response.css('.pager .next a::attr(href)').extract_first()        # 补全链接        url = response.urljoin(next)        # 利用Request函数实现递归调用parse解析下一页内容        yield scrapy.Request(url=url, callback=self.parse)

提取数据

从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制，有以下四个基本方法：

• xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。

• css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.

• extract(): 序列化该节点为unicode字符串并返回list。

• re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。

  具体的用法及语法格式可查看：http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/selectors.html#topics-selectors

爬取并保存爬取到的数据

进入项目根目录，执行以下命令启动爬虫：

scrapy crawl quotes -o items.json #保存为json格式

scrapy crawl quotes -o items.jl #保存为json格式

scrapy crawl quotes -o items.csv #保存为json格式

这是简单的保存几种数据的方法，后面分享如何将数据保存到MongoDB数据库中。

小结

本次分享简单介绍Python重要的爬虫框架scrapy如何入门，如何创建项目，编写第一个爬虫，提取数据，保存数据，后面会用scrapy框架编写一个爬取新闻的爬虫，届时将分享如何将数据保存到MongoDB数据库中。