scrapy框架的基本使用

2017-06-22 本文已影响514人简讯Alfred

通过本文了解scrapy的基本使用，并通过一个demo感受它的强大。

scrapy

来自Scrapy官网的介绍：

Scrapy is a fast high-level web crawling and web scraping framework, used to crawl websites and extract structured data from their pages. It can be used for a wide range of purposes, from data mining to monitoring and automated testing.

我们暂时就认为它是一个功能加大的爬虫框架即可。

Quotes to Scrape

我们要练习抓取的是scrapy官方提供的网站：quotes.toscrape.com。对这个网站的抓取让我们对scrapy框架有个基本的认识，可以更轻松的入门。因为在我最初接触框架的时候，总觉得它是一个很神秘很复杂的东西，还不如使用requests库更容易。

Quotes to Scrape

这个网站主要是一些名人名言，虽然看似简陋，却包含了文本，标签，超链接等大多数网站都具备的格式。所以这个网站用来入门scrapy是不二选择啊！

Demo

抓取流程

我们通过抓取第一页的信息，获取该页的内容和下一页的链接，实现翻页抓取，然后将抓取到的网页内容保存为特定的格式并存入数据库。

创建项目

在命令行输入

scrapy startproject quotes

Tree

然后输入命令创建spider

cd quotes
scrapy genspider quote quotes.toscrape.com

创建好spider文件后,我们就可以继续完善代码了。

初步测试

我们先来测试下框架，在生成好的spider文件中，我们先抓取网页的状态码和网页源码。

代码为：

# -*- coding: utf-8 -*-
import scrapy


class QuoteSpider(scrapy.Spider):
    name = "quote"
    allowed_domains = ["quotes.toscrape.com"]
    start_urls = ['http://quotes.toscrape.com/']

    def parse(self, response):
        print(response.status)
        print(response.text)

这是运行的部分截图，正常输出了网页的状态码和网页源码。

接下来我们就开始正式抓取了。

完善代码

items.py

我们要抓取这个网页的名人名言，作者和标签，首先要在items.py文件下定义字段。

import scrapy


class QuotesItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    text = scrapy.Field()
    author = scrapy.Field()
    tags = scrapy.Field()

spider.py

在讲这部分代码时，先介绍一个强大的工具：shell，有了这个工具，在抓取网页内容的时候会更加得心应手。

在命令行输入：

scrapy shell http://quotes.toscrape.com/

这样就进入了命令行交互模式，做一些调试。

这是我做的一些简单调试，相信你也会充分利用这个工具。

继续完善代码。

# -*- coding: utf-8 -*-
import scrapy
from quotes.items import QuotesItem


class QuoteSpider(scrapy.Spider):
    name = "quote"
    allowed_domains = ["quotes.toscrape.com"]
    start_urls = ['http://quotes.toscrape.com/']

    def parse(self, response):
        item = QuotesItem()

        quotes = response.css('.quote')
        for quote in quotes:
            text = quote.css('.text::text').extract_first()
            author = quote.css('.author::text').extract_first()
            tags = quote.css('.tags .tag::text').extract()

            item['text'] = text
            item['author'] = author
            item['tags'] = tags

            yield item

这样基本能看到抓取的结果了：

不过只有第一页的内容，接下来我们要抓取所有页的内容。想要抓取下一页的内容也非常简单，只要在本页找到下一页的链接，生成下一页的链接后不断重复这个过程，直到最后一页停止抓取。

抓取所有页数的完整代码为：

# -*- coding: utf-8 -*-
import scrapy
from quotes.items import QuotesItem


class QuoteSpider(scrapy.Spider):
    name = "quote"
    allowed_domains = ["quotes.toscrape.com"]
    start_urls = ['http://quotes.toscrape.com/']

    def parse(self, response):
        item = QuotesItem()

        quotes = response.css('.quote')
        for quote in quotes:
            text = quote.css('.text::text').extract_first()
            author = quote.css('.author::text').extract_first()
            tags = quote.css('.tags .tag::text').extract()

            item['text'] = text
            item['author'] = author
            item['tags'] = tags

            yield item

        next = response.css('.pager .next a::attr(href)').extract_first()
        url = response.urljoin(next)
        yield scrapy.Request(url=url, callback=self.parse)

解释一下新增的三行代码。第一行用来找到下一页的超链接；第二行生成一个绝对的URL，第三行使用Request方法，传入新生成的url，使用回调来递归调用parse函数解析新生成的url。运行以后就能采集所有页的名人名言了。

保存结果

保存到本地文件

抓取好网页的内容如何保存呢？可以使用scrapy的命令保存成多种文件格式。

输入命令：

scrapy crawl quote -o quotes.json

运行以后会生成一个json文件，保存了刚才我们抓取到的所有内容。

保存到数据库

在保存到数据库前，我们先要对抓取到的文本做一些处理，如果名人名言的长度大于50，那就切断并显示为省略号。实现也很简单，要用到pipelines.py文件。

处理文本的代码为：

from scrapy.exceptions import DropItem


class TextPipeline(object):

    def __init__(self):
        self.limit = 50

    def process_item(self, item, spider):
        if item['text']:
            if len(item['text']) > self.limit:
                item['text'] = "".join([item['text'][0:self.limit].strip(), "..."])
                return item
        else:
            return DropItem('Missing Text.')

然后在settings.py文件中开启。

ITEM_PIPELINES = {
    'quotes.pipelines.TextPipeline': 300,
}

这样设置以后，运行得到的结果就是我们已经处理后的结果了。接下来我们就要保存到数据库中。

我们先在setting.py文件中插入mongo数据库的相关信息：

MONGO_URI = 'localhost'
MONGO_DB = 'quotes'

回到piplines.py文件编辑：

import pymongo


class MongoPipline(object):

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DB')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def process_item(self, item, spider):
        if self.db['quotes'].insert(dict(item)):
            print("ok.")
            return item

这段代码实现的功能是传入参数后，获取mongo数据库的配置信息，然后在spider运行前开启mongo服务，运行过程中插入到数据库。

再次运行后打开mongo数据库，就能看到处理过的文本信息都已经保存好了。