python爬虫的最佳实践(八)--初探Scrapy

2016-05-09 本文已影响4323人 Darkeril

程序员可以让步，却不可以退缩，可以羞涩，却不可以软弱，总之，程序员必须是勇敢的

本节目标

配置scrapy环境，创建第一个scrapy项目
了解scrapy项目结构。
使用scrapy成功编写一个爬虫。

小插曲

有人说，virtualenv、pip是pythonner的两大神器。pip我们在之前的项目中用过很多次了，今天来告诉大家virtualenv怎么使用。

所谓virtualenv，你可以简单的理解为创建一个虚拟的python环境，这个python环境是和本机的其他python环境互不干扰的，所以随你怎么玩~玩坏了删除了重新创建就好了。

首先，打开pycharm。选择file->Default Setting，如图：

1.png

单击左上角setting标准，选择Create VirtualEnv，如图：

2.png

给你的virtyalEnv起个名字，然后选择基础的python环境，记得勾选下面的Inhert global site-packages选项，这回复制你安装的第三方库到你的虚拟环境中，就不用再安装一次了。

这样，一个虚拟环境便创建好了，你到指定的位置可以看到一个虚拟环境的文件夹，进入可以看到一个完整的python环境，python的第三方库都在Scripts文件夹下可以找到，如果要给虚拟环境安装第三方库，可以从pycharm安装，也可以直接运行虚拟环境根目录\Scripts\pip.exe install packageName。好了这样我们的虚拟环境变创建好了。

安装scrapy

建议用python2.x的版本安装。
打开pycharm，选择 file->Default Setting，选中刚刚创建的虚拟环境，点击+，在搜索框中输入scrapy。如图：

3.png

点击安装等待安装完毕即可。

创建项目

首先把刚刚创建的虚拟环境的Scripts文件夹加入到环境变量中，然后运行scrapy startproject tutorial，执行完毕后可以看到tutorial项目已经被创建在根目录下，目录结构如下：

4.png

下面来简单介绍一下各个文件的作用：

scrapy.cfg：项目的配置文件
items.py：项目的items文件，用来定义数据结构
pipelines.py：项目的pipelines文件，用来处理数据
settings.py：项目的设置文件
spiders/：存储爬虫的目录

接下来我们创建第一个scrapy爬虫

第一个scrapy爬虫

在spiders目录下创建一个新的python文件命名为test.py，然后代码如下：

#coding:utf-8
import scrapy
from scrapy.spiders import BaseSpider
from bs4 import BeautifulSoup

class testSpider(scrapy.Spider):
    name = 'test'
    start_urls = ['https://s.2.taobao.com/list/list.htm?spm=2007.1000337.0.0.RrSiSG&catid=50100398&st_trust=1&page=1&ist=0']

    def parse(self, response):
        for title in response.xpath('//*[contains(concat( " ", @class, " " ), concat( " ", "item-title", " " ))]//a'):
            yield scrapy.Request('http:'+title.xpath('@href').extract()[0], self.detail)

    def detail(self, response):
        data = BeautifulSoup(response.body, 'lxml')
        area = data.select('#J_Property > h1')
        print area[0].get_text()

首先引入库scrapy，紧接着引入库beautifulsoup，没错，scrapy可以和beautifulsoup结合起来使用

name = 'test'定义了这个爬虫的名称，这个名称必须是唯一的，以便用来区分其他爬虫。
start_urls = ['https://s.2.taobao.com/list/list.htm?spm=2007.1000337.0.0.RrSiSG&catid=50100398&st_trust=1&page=1&ist=0']
定义了开始的url，这个和pyspider类似，可以填入多个url。

def parse(self, response):
        for title in response.xpath('//*[contains(concat( " ", @class, " " ), concat( " ", "item-title", " " ))]//a'):
            yield scrapy.Request('http:'+title.xpath('@href').extract()[0], self.detail)

parse这个函数是我们继承的scrapy.Spiderclass里面内置的函数，我们对它进行重写，当我们的spider开始运行的时候会首先请求start_urls里面的链接并调用parse函数，给其返回一个response对象。

response.xpath('//*[contains(concat( " ", @class, " " ), concat( " ", "item-title", " " ))]//a')

上面这句是使用xpath定位标签，scrapy支持xpath，还记得上节介绍的infolite么，刚好可以结合起来使用。如图得到了我们要的title的xpath：

5.png

我们选择咸鱼网的列表的title，然后创建一个yield迭代器去遍历每个title里面的url，代码如下：

yield scrapy.Request('http:'+title.xpath('@href').extract()[0], self.detail)

scrapy.Request函数第一个参数传入url，第二个参数传入callback。对于我们已经取出来的title的a标签，我们依然可以通过xpath取出里面的属性title.xpath('@href')，如果要取出文字，则使用title.xpath('text()')。

接下来我们进入到detail函数：

def detail(self, response):
        data = BeautifulSoup(response.body, 'lxml')
        area = data.select('#J_Property > h1')
        print area[0].get_text()

一如我们之前讲解的，在这里，我们用beautifulsoup解析response.body，然后通过csspath取出我们想要的信息。

至此，我们第一个scrapy爬虫就写完了，是不是比想象中的简单呢？

写在最后

今天，我们简单介绍了scrapy并实现了一个scrapy爬虫，下一节是scrapy的进阶篇，我们将介绍scrapy中items 与pipelines的用法。小伙伴们可以用scrapy把我们之前写过的爬虫再重新试试，看看效率如何~

有兴趣的同学可以加群498945822一起交流学习哦~~
发现问题的同学欢迎指正，直接说就行，不用留面子，博主脸皮厚！