Scrapy框架之新建Scrapy项目详解
Scrapy架构王图
前言
从这篇开始，带大家通过 Scrapy 框架来写爬虫，相比之前写的爬虫脚本，用上 Scrapy 才更像一个爬虫项目
Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中
其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取 API 所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫
Scrapy 使用了 Twisted'twɪstɪd异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求
简单来说，Scrapy 就是一个方便爬虫搭建的框架，那么下面来看看我们的第一个 Scrapy 项目（其实之前就有一篇爬取堆糖的文章已经用过了，这里完整的来一遍）
今天主要讲解如何建一个 Scrapy 项目，以及** Scrapy 的基本结构和配置**
正文
首先，安装 Scrapy 可以在 Pycharm 中安装，也可以手动下载或通过命令行安装，这里就举个直接在 Pycharm 中是如何安装的
首先在 settings 中点击 Project interpreter ，右侧就是你当前使用的 Python 解释器已经安装的包，这里我已经装过了，还提示可以升级到 Scrapy 1.6.0
然后我们点击最右侧的绿色加号，在上方搜索 Scrapy 可以看到下方就出现了 scrapy ，右侧是其最新的版本，点击底部 Install Package 就可以安装，稍等几分钟就能装好了
接着来看看如何创建一个 Scrapy 项目，如下图所示，打开 cmd 命令行，什么？不会打开...
按 “Win + r” 键运行，输入 cmd 回车即可
接着进入自己经常放代码的文件夹下，在这里输入
scrapy startproject myscrapy
然后回车，myscrapy 是你自己定的项目名，之所以我这里是
python3 -m scrapy startproject myscrapy
是因为一开始我同时装了 Python2 和 Python3，所以执行命令时要区别，所以没有同时装两个版本的各位，可以不用跟我一样加上 python3 -m
到这里 Scrapy 项目就创建好了，但是我们还需要一个主要放爬虫代码的.py文件，而在我们创建完一个 Scrapy 之后也提示我们，可以进入这个项目，创建一个爬虫文件
cd myscrapy
scrapy genspider first "bilibili.com"
first 是爬虫名，“bilibili.com” 是为了方便自定义的爬取网站的域名
这样一来完整的 Scrapy 项目就创建完了，下面是完整的项目结构
这里
- scrapy.cfg: 项目的配置文件
- myscrapy/: 该项目的python模块。之后您将在此加入代码
- myscrapy/spiders/: 放置spider代码的目录
- myscrapy/items.py: 项目中的item文件
- myscrapy/pipelines.py: 项目中的pipelines管道文件
- myscrapy/middlewares.py: 项目中的middlewares中间件文件
- myscrapy/settings.py: 项目的设置文件
还有一点是，Scrapy 的命令可不止 startproject 和 genspider，更多的可以直接在命令行中输入
scrapy
回车后就可以看见，而需要注意的是，没有进入项目文件下，与进入项目文件下可执行的 Scrapy 命令有点不同
没有进入项目文件夹
进入项目文件夹下
具体作用大家可以问问度娘~我就不再多说了（谁说我不知道了，这些小知识得自己搜过印象才深嘛）
项目结构以及如何创建 Scrapy 项目就先到这儿，下面我们来看看 Scrapy 到底有哪些五脏六腑
first.py
首先，我们的 first.py 文件，之后我们要写的爬虫主体代码就在此编写，可以看到生成的文件中，有一个 FirstSpider 类，继承着 scrapy.Spider
name 是爬虫名，之后运行爬虫的时候，就要用到这个 name
allowed_domains 包含了spider允许爬取的域名(domain)的列表
start_urls 初始URL元祖/列表
parse 方法，当请求url返回网页没有指定回调函数时，默认的Request对象回调函数。用来处理网页返回的response，以及生成Item或者Request对象
# -*- coding: utf-8 -*-
import scrapy
class FirstSpider(scrapy.Spider):
name = 'first'
allowed_domains = ['bilibili.com']
start_urls = ['http://bilibili.com/']
def parse(self, response):
pass
items.py
Item 中定义结构化数据字段，用来保存爬取到的数据
可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field的类属性来定义一个Item
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html
import scrapy
class MyscrapyItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
name = scrapy.Field()
middlewares.py
中间件文件中定义了两个中间件类 MyscrapySpiderMiddleware 和 MyscrapyDownloaderMiddleware
下载器中间件是介于 Scrapy 的request/response处理的钩子框架。 是用于全局修改Scrapy request和response的一个轻量、底层的系统
要使用下载器中间件，就需要激活，要激活下载器中间件组件，将其加入到 DOWNLOADER_MIDDLEWARES设置中。 该设置是一个字典(dict)，键为中间件类的路径，值为其中间件的顺序(order)，需在 settings,py 中配置
当然也可以自己编写中间件
将其注释解掉即可
#SPIDER_MIDDLEWARES = {
# 'myscrapy.middlewares.MyscrapySpiderMiddleware': 543,
#}
#DOWNLOADER_MIDDLEWARES = {
# 'myscrapy.middlewares.MyscrapyDownloaderMiddleware': 543,
#}
# -*- coding: utf-8 -*-
# Define here the models for your spider middleware
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/spider-middleware.html
from scrapy import signals
class MyscrapySpiderMiddleware(object):
# Not all methods need to be defined. If a method is not defined,
# scrapy acts as if the spider middleware does not modify the
# passed objects.
@classmethod
def from_crawler(cls, crawler):
# This method is used by Scrapy to create your spiders.
s = cls()
crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)
return s
def process_spider_input(self, response, spider):
# Called for each response that goes through the spider
# middleware and into the spider.
# Should return None or raise an exception.
return None
def process_spider_output(self, response, result, spider):
# Called with the results returned from the Spider, after
# it has processed the response.
# Must return an iterable of Request, dict or Item objects.
for i in result:
yield i
def process_spider_exception(self, response, exception, spider):
# Called when a spider or process_spider_input() method
# (from other spider middleware) raises an exception.
# Should return either None or an iterable of Response, dict
# or Item objects.
pass
def process_start_requests(self, start_requests, spider):
# Called with the start requests of the spider, and works
# similarly to the process_spider_output() method, except
# that it doesn’t have a response associated.
# Must return only requests (not items).
for r in start_requests:
yield r
def spider_opened(self, spider):
spider.logger.info('Spider opened: %s' % spider.name)
class MyscrapyDownloaderMiddleware(object):
# Not all methods need to be defined. If a method is not defined,
# scrapy acts as if the downloader middleware does not modify the
# passed objects.
@classmethod
def from_crawler(cls, crawler):
# This method is used by Scrapy to create your spiders.
s = cls()
crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)
return s
def process_request(self, request, spider):
# Called for each request that goes through the downloader
# middleware.
# Must either:
# - return None: continue processing this request
# - or return a Response object
# - or return a Request object
# - or raise IgnoreRequest: process_exception() methods of
# installed downloader middleware will be called
return None
def process_response(self, request, response, spider):
# Called with the response returned from the downloader.
# Must either;
# - return a Response object
# - return a Request object
# - or raise IgnoreRequest
return response
def process_exception(self, request, exception, spider):
# Called when a download handler or a process_request()
# (from other downloader middleware) raises an exception.
# Must either:
# - return None: continue processing this exception
# - return a Response object: stops process_exception() chain
# - return a Request object: stops process_exception() chain
pass
def spider_opened(self, spider):
spider.logger.info('Spider opened: %s' % spider.name)
pipelines.py
当Item在Spider中被收集之后，它将会被传递到Item Pipeline，一些组件会按照一定的顺序执行对Item的处理。
每个item pipeline组件(有时称之为“Item Pipeline”)是实现了简单方法的Python类。他们接收到Item并通过它执行一些行为，同时也决定此Item是否继续通过pipeline，或是被丢弃而不再进行处理。
以下是item pipeline的一些典型应用：
- 清理HTML数据
- 验证爬取的数据(检查item包含某些字段)
- 查重(并丢弃)
- 将爬取结果保存到数据库中
同样要使用 pipeline ，也需要在 settings.py 中启用
#ITEM_PIPELINES = {
# 'myscrapy.pipelines.MyscrapyPipeline': 300,
#}
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
class MyscrapyPipeline(object):
def process_item(self, item, spider):
return item
settings.py
Scrapy设置(settings)提供了定制Scrapy组件的方法。可以控制包括核心(core)，插件(extension)，pipeline及spider组件。比如 设置Json Pipeliine、LOG_LEVEL等
结尾
关于 Scrapy 项目的基本点就讲到这里，另外公众号后台回复【scrapy课件】，有一个关于 Scrapy 的课件等着你哦，对于新手来说基本知识点都涵盖在内了，且易于理解
print('微信公众号搜索 "猿狮的单身日常" ，Java技术升级、虫师修炼，我们 不见不散!')
print('也可以扫下方二维码哦~')
猿狮的单身日常
