初识scrapy学习知识点整理

一、创建项目

• 在控制台使用命令scrapy startproject 项目名称创建scrapy项目，如：scrapy startproject baidu；
• 使用命令cd 项目名称进入项目目录，如：cd baidu；
• 使用命令scrapy genspider 爬虫py文件名 目标爬虫网址，如:scrapy genspider baidu_spider https://www.baidu.com/,此命令就能在spider文件夹创建出一个baidu.py；
  创建出的目录就如下图片：
  捕获.PNG

二、定义Item保存数据

• 我们爬取的数据首先要在item.py定义好数据来保存，就类似预先定义一个空字典一个空列表，这个数据是将要抓取的数据：

import scrapy
class BaiduItem(scrapy.Item):
    text = scrapy.Field()
    author= scrapy.Field()
    tags = scrapy.Field()

三、编写爬虫逻辑

• 编程爬虫代码是在spider文件夹下的baidu_spider.py文件写的，其包含了一个用于下载的初始 URL，如何跟进网页中的链接以及如何分析页面中的内容， 提取生成item的方法。为了创建一个 Spider，您必须继承scrapy.Spider类， 且定义以下三个属性:
  name: 用于区别 Spider。 该名字必须是唯一的，您不可以为不同的 Spider 设定相同的名字。
  start_urls: 包含了 Spider 在启动时进行爬取的 url 列表。 因此，第一个被获取到的页面将是其中之一。 后续的 URL 则从初始的 URL 获取到的数据中提取。
  parse()是 spider 的一个方法。 被调用时，每个初始 URL 完成下载后生成的Response对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成 item)以及生成需要进一步处理的 URL 的 `Request 对象。

import scrapy
from baidu.items import BaiduItem

def parse(self, response):
    # print(response.text)
    baidu = response.css('.quote')
    for quote in baidu:
        item = BaiduItem()
        text = quote.css('.text::text').extract_first()
        author = quote.css('.author::text').extract_first()
        tags = quote.css('.tags .tag::text').extract()
        item['text'] = text
        item['author'] = author
        item['tags'] = tags
        yield item
    next = response.css('.pager .next a::attr(href)').extract_first()
    url = response.urljoin(next)
    yield scrapy.Request(url=url, callback=self.parse)

四、提取数据

scrapy框架提供了两种方式提取数据，这个可以根据自己喜欢哪个就用哪个：

• 1、 CSS selector选择器，类似jquery 的css选择器,上面的代码就是用css选择器来提取网页数据；
• 2、Xpath选择器，详细用法可以查看官网文档，这里就举个例子：

#文件大小的信息包含在 id=specifications 的 <div> 的第二个 <p> 标签中:
<div id="specifications">
<p>
<strong>Category:</strong>
<a href="/cat/4">Movies</a> &gt; <a href="/sub/35">Documentary</a>
</p>
<p>
<strong>Total size:</strong>
150.62&nbsp;megabyte</p>
#选择文件大小的XPath表达式:
//div[@id='specifications']/p[2]/text()[2]

• 3 当然这里也可以使用其他库来提取数据如：BeautifulSoup,lxml等

五、执行爬虫

使用命令scrapy crawl 文件名，如：scrapy crawl baidu_spider

六、scrapy的生命周期

Spider 类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如：是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取 item)。换句话说，Spider 就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。

对 spider 来说，爬取的循环类似下文:

以初始的 URL 初始化 Request，并设置回调函数。当该 request 下载完毕并返回时，将生成 response，并作为参数传给该回调函数。

spider 中初始的 request 是通过调用start_requests()来获取的。start_requests()读取start_urls 中的 URL， 并以parse为回调函数生成Request。

在回调函数内分析返回的(网页)内容，返回 Item 对象或者 Request 或者一个包括二者的可迭代容器。 返回的 Request 对象之后会经过 Scrapy 处理，下载相应的内容，并调用设置的 callback 函数(函数可相同)。

在回调函数内，您可以使用 选择器(Selectors) (您也可以使用 BeautifulSoup, lxml 或者您想用的任何解析器) 来分析网页内容，并根据分析的数据生成 item。

最后，由 spider 返回的 item 将被存到数据库(由某些 Item Pipeline 处理)或使用 Feed exports 存入到文件中scrapy crawl xx(爬虫名字) -o xx.json。