爬虫0030:scrapy

2018-01-18 本文已影响19人不一样的丶我们

scrapy环境配置

首先确认我们的电脑上已经安装了如下程序:
- python2.7+:windows直接安装配置,ubuntu内置
- lxml: 一般linux系统中的ubuntu中内置了,windows需要单独安装
- openSSL:windows之外的系统默认自带
运行命令执行安装

pip install scrapy

在windows中需要单独安装win32模块,执行如下命令安装

pip install pypiwin32

scrapy框架.py文件分析

执行如下的命令,创建第一个基于scrapy框架的爬虫项目

scrapy startproject myspider

|-- myspider
    |-- scrapy.cfg
    |-- myspider/
        |-- __init__.py
        |-- items.py
        |-- pipeline.py
        |-- settings.py
        |-- spiders/
            |-- __init__.py

文件详细信息
- scrapy.cfg---->爬虫项目公共配置文件
- myspider---->爬虫项目的python模块,以后的代码开发就在这个文件夹中
- myspider/items.py--->项目中定义数据的模块items
- myspider/pipeline.py--->项目中数据存储模块pipeline
- myspider/settings.py--->项目中的设置文件
- myspider/spiders/..--->项目中存放爬虫程序的文件夹

scrapy实战: 智联招聘数据采集

创建智联招聘数据采集爬虫
- 在项目目录中执行如下命令,创建爬虫项目
```
scrapy startproject zhilianspider
```

创建采集数据的Item封装类型及数据库表

采集的数据要被封装起来进行使用,找到zhilianspider/zhilianspider/items.py修改如下内容

# -*- coding: utf-8 -*-
# Define here the models for your scraped items
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html
# 引入scrapy模块
import scrapy

class ZhilianItem(scrapy.Item):
    '''
    创建一个Item类型，用于定义爬虫采集的数据字段
    '''
    # 通过scrapy.Field()函数定义属性字段
    # 工作岗位名称
    job_name = scrapy.Field()
    # 发布公司名称
    company = scrapy.Field()
    # 岗位月薪
    salary = scrapy.Field()

在数据库中创建对应的数据表,用于进行最终的数据存储,在数据库中执行如下的sql脚本

# 创建数据库
CREATE DATABASE zhilian_spider DEFAULT CHARSET 'utf8';

USE zhilian_spider;

# 创建数据表
CREATE TABLE jobs(
   id INT AUTO_INCREMENT PRIMARY KEY,
    job_name VARCHAR(200),
    company VARCHAR(200),
    salary VARCHAR(50)
);

# 初始查询，是一张空表，无数据
SELECT * FROM jobs;

开发核心爬虫程序

在爬虫目录中创建智联爬虫文件,并创建爬虫类型进行数据的采集
在zhilianspider/zhilianspider/spiders/目录下,创建zhilianspider.py文件
在zhilianspider.py文件中,创建ZilianSpider类型,编辑内容如下:

# coding:utf-8

import scrapy
from ..items import ZhilianItem
# http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=bb28054b0714445f85382f12e09c9228&p=1

class ZhilianSpider(scrapy.Spider):
```爬虫核心程序开发```
  # 定义名称，用于命令行启动执行爬虫使用
  name = "zlspider"
  # 定义限定域名，防止跨域数据采集
  allowed_domains = ["zhaopin.com"]
  # 初始采集URL地址
  start_urls = (
      "http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=bb28054b0714445f85382f12e09c9228&p=1",
  )
 def parse(self, response):
 ```采集处理函数，scrapy下载器采集下载的数据存放在response中```
  # 通过xpath筛选得到当前工作列表
      job_list = response.xpath("//div[@id='newlist_list_content_table']/table[@class='newlist'][position()>1]")

      # 循环获取每个工作信息
      for job in job_list:
          # 筛选工作名称
          job_name = job.xpath("tr[1]/td[@class='zwmc']/div/a").xpath("string(.)").extract()[0]
          # 筛选发布公司
          company = job.xpath("tr[1]/td[@class='gsmc']/a").xpath("string(.)").extract()[0]
          # 筛选薪水待遇
          salary = job.xpath("tr[1]/td[@class='zwyx']").xpath("string(.)").extract()[0]

          # 封装生成item对象，交给pipelines模块进行后续数据验证和存储
          item = ZhilianItem()
          item['job_name'] = job_name
          item['company'] = company
          item['salary'] = salary

          yield item

管道存储数据到数据库
爬虫程序采集完数据之后，需要将数据存储在数据库中，我们通过管道模块进行操作
找到并修改管道文件zhilianspier/zhilianspider/pipelines.py，创建智联管道类型ZhilianPipeline，编辑内容如下：

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
# 引入sqlalchemy模块
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
# 进入pymysql模块，用于替代sqlalchemy底层的mysqldb
import pymysql
pymysql.install_as_MySQLdb()


class ZhilianPipeline(object):
    '''
    智联招聘爬虫管道模块，进行数据验证和存储
    '''
    def __init__(self):
        # 打开和数据库的连接引擎，获取连接会话对象
        engine = create_engine("mysql://root:@localhost/zhilian_spider?charset=utf8")
        Session = sessionmaker(bind=engine)
        self.session = Session()


    def process_item(self, item, spider):
        # 生成sql语句
        zl_sql = "insert into jobs(job_name, company, salary) values('%s', '%s', '%s')" % \
                 (item['job_name'], item['company'], item['salary'])
        # 执行sql语句
        self.session.execute(zl_sql)
        return item

    def close_spider(self, spider):
        # 提交数据并关闭数据库连接会话
        self.session.commit()
        self.session.close()

测试运行
爬虫程序至此开发完成，在命令行中进入爬虫项目根目录，执行如下命令：

scrapy crawl zlspider

等待程序运行结束，可以在数据库中执行查询命令

select * from jobs;

可以查询到已经采集的数据信息

id	job_name	company	salary
1	数据爬虫工程师	北京昆仑亿发科技股份有限公司	10001-15000
2	Python爬虫产品设计师	北京阿博泰克北大青鸟信息技术有限公司	10001-15000
3	搜索爬虫研发工程师--c++	中国搜索信息科技股份有限公司	20001-30000
4	数据挖掘（爬虫方向）	北京热云科技有限公司	20000-30000
5	爬虫工程师（AI算法）(031287)	京东金融	面议
6	数据产品经理（爬虫）—外卖事业部#3975	北京三快在线科技有限公司	面议
7	爬虫开发工程师	东旭集团	15001-20000
8	数据抓取爬虫工程师	今日头条	15000-30000
9	高级爬虫工工程师-北京-03198	博彦科技股份有限公司	20000-30000
10	知名集团公司招聘java爬虫数据工程师	北京科锐国际人力资源股份有限公司	10001-15000
11	爬虫工程师(000658)	旷视科技face++	18000-36000
12	爬虫工程师	凡普金科企业发展(上海)有限公司	20000-40000
13	python爬虫工程师	上海仁教信息技术有限公司	20001-30000

爬虫0030:scrapy

scrapy环境配置

scrapy框架.py文件分析

scrapy实战: 智联招聘数据采集

猜你喜欢

热点阅读