scrapy第一步

2018-01-17 本文已影响0人云Shen不知处

1.scrapy概述

1.1. 官方网站：http://scrapy.org [orginzation]
1.2. Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

2.scrapy安装

2.1 ：ubuntu/macos 下，在有完善的python环境的基础上直接安装 scrapy
2.2：windows下：注意~安装分两步进行

1.先安装scrapy
# 管理员身份运行cmd窗口
pip install scrapy
or
easy_install scrapy

PS:注意
安装完scrapy之后，可以正常的进行scrapy项目的开发，但是在windows上运行项目会出现问题，如果出现类似于WinError这样的的问题，请安装下面的模块

2.安装win32
# 需要安装一个pypiwin32模块，用于scrapy模块可能调用win底层C库进行函数操作
pip install pypiwin32

3. 项目开发——创建scrapy项目

3.1:通过执行如下命令，来创建scrapy项目

# 通过scrapy命令，加上startproject选项，创建一个名称为spider_name的爬虫项目
scrapy startproject <spider_name>

例如：在pycharm中直接运行工具中的cmd终端窗口，执行如下命令创建一个爬虫项目

scrapy startproject myspider

创建好的项目文件结构如下：

|-- myspider/  项目根目录
    |-- scrapy.cfg  项目配置文件 [cfg: config]
    |-- myspider/  爬虫 模块->以后的爬虫程序开发都在这个模块中
        |-- spiders/   爬虫程序所在的目录
        |-- items.py   采集的数据->定义封装模型类的模块
        |-- pipelines.py 采集的数据->采集完成之后进行数据验证、存储的模块
        |-- middlewares.py 中间件定义的模块
        |-- settings.py 项目设置模块

4. 开发爬虫程序-智联

准备工作，分四部步进行
4.1:分析爬虫要采集的url地址，分析采集的数据字段

http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=cab76822e6044ff4b4b1a907661851f9&p=1]http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=cab76822e6044ff4b4b1a907661851f9&p=1)

http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=cab76822e6044ff4b4b1a907661851f9&p=2]
招聘岗位：job
发布公司：company
薪水待遇：salary

4.2：定义采集的字段封装的Item类型，在items.py模块中，定义Item类

我们通过scrapy项目中的items.py模块定义封装采集数据字段的类型
为了能使用scrapy提供的各种内置功能，让定义的类型继承自scrapy.Item类型；类型中的字段属性通过scrapy.Field()进行定义！

import scrapy

class ZhilianItem(scrapy.Item):
    '''
    自定义封装智联招聘的item类型，用于封装采集到的智联网站的数据
    '''
    # 定义属性字段
    job = scrapy.Field()
    company = scrapy.Field()
    salary = scrapy.Field()

4.3:在spiders/zhilianspider.py中开发爬虫程序，采集初步数据

为了可以直接使用scrapy内置的爬虫操作，让scrapy自动采集数据，我们需要定义一个爬虫处理类
1.在spiders/zhilianspider.py模块中定义ZhilianSpider类型
2.继承自scrapy.Spider
3.类型中的属性：name属性~爬虫名称，用于在命令行启动爬虫时调用
4.类型中的属性：start_urls属性~采集数据的初始url地址[列表、元组]
5.类型中的属性：allowed_domains属性~采集数据的网站域名限制
6.类型中的方法：parse(self, response)采集完数据之后自动执行的函数

4.4:核心：在pipelines.py模块中，定义处理Item数据的piplelines，将数据存储到数据库中给其他项目做数据准备
备注：
引擎：engine->scrapy引擎模块：engine.py
调度器：scheduler->scrapy调度模块：scheduler.py

5.爬虫采集数据筛选测试

进入命令行，执行命令
scrapy shell “url”
执行之后进入python命令行，此时~响应的数据已经被包含到response变量中了，可以直接操作response进行数据筛选测试

6.开发一个完整项目的流程

创建爬虫项目[可以包含多个爬虫程序

    scrapy startproject myspider

定义采集数据的Item封装类型

    修改myspider/items.py，添加ZhilianItem
    继承scrapy.Item
    属性通过scrapy.Field()定义

开发爬虫程序

在myspider/spiders/添加zhilianspider.py模块
定义ZhilianSpider类型【爬虫程序】
继承scrapy.Spider
name属性：爬虫名称，用于在命令行启动指定爬虫使用
allowed_domains属性：域名限制~限制爬虫只能在某个域名下进行采集 start_urls属性：元组/列表，定义了所有初始采集数据的url路径
parse(self, response)函数：函数中的response参数接受了下载模块采集到的url中的数据    
         这个函数中，可以进行数据的xpath/re/css选择器进行筛选
         将筛选得到的数据，封装在ZhilianItem对象中
         通过协程的方式将item对象交给pipelines.py模块进行处理
              yield item

开发管道模块

修改myspider/pipelines.py模块，添加ZhilianPipleline类型
    __init__(self):主要用于进行资源的初始化操作，如打开文件、打开和数据库的连接等等，有必要编写
          初始化了sqlalchemy的数据库连接
    open_spider(self, spider)：当spider爬虫启动的时候自动调用的函数，也经常用于精确的资源初始化工作，一般不写
    close_spider(self, spider)：当spider爬虫关闭的时候自动调用的函数，经常用于资源的回收，如关闭打开的文件、关闭数据库连接等等，有必要编写
          关闭了sqlalchemy的数据库连接
    process_item(self, item, spider)：核心处理函数，进行采集到的数据item中的实际数据的验证、存储工作，必须写
          通过sqlalchemy进行了数据的存储
修改myspider/settings.py设置文件，添加ITEM_PIPELINES = []配置选项中，将我们自定义的ZhilianPipeline注册给scrapy   完成！数据被正确采集到了数据库中

PS:注意问题：
Python2的编码问题、数据库交互时的编码问题
网页数据分析问题[耗时耗力，要有耐心!