scrapy框架——爬虫
下载安装
官方网站： https://scrapy.org
官方文档： https://docs.scrapy.org/en/latest
安装：
- 命令安装
< pip install scrapy > - whl包安装方式
到Python包发布网站上，下载对应的whl包： http://pypi.org
pip install scrapy.1.5.whl - 压缩包方式安装
直接登录scrapy官方网站，下载tar.gz压缩包，解压到本地文件夹中
Python setu.py install
- 注意：不同的操作系统可能会出现如下错误
Microsoft Visual c++ 14.0 is Required[系统中缺少VC++编译库文件]- 解决办法【两种】
- 1、安装VC++编译库文件
- 2、下载scrapy已经编译好的文件进行安装
安装地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/
第一个程序【爬虫】
import scrapy
import pyttsx3
engine = pyttsx3.init()
class MySpider(scrapy.Spider):
'''自定义爬虫程序，继承scrapy.spider.Spider类型；才能使用scrapy框架提供的爬虫功能'''
name = "quotes"
#定义起始采集地址
start_urls = ("http://quotes.toscrpe.com/page/1/",)
def parse(self, response):
'''解析返回的数据'''
#提取当前网页中所有名言数据
quotes = response.css("div.quote")
for quote in quotes:
yield{
'text' : response.css("span.text::text").extract_first()
'author':response.xpath("span/small[@class='author']/text()").extract_first()
}
#提取数据
next_page = response。小path（"//li[@class='next']/a/@href）.extract_first()
engine.say("开始采集" + next_page)
engin.runAndWait()
if next_page:
# 存在下一页，继续采集—>请求交给scrapy
yield response.follow(next_page, self.parse)
- scrapy 项目中：
所有的爬虫程序，必须直接或者间接的继承自scrapy.Spider类型
自定义爬虫程序，必须重写父类中的如下三个特征：
1、name:爬虫程序的名称
2、start_urls:列表或者元组类型的数据，爬虫程序开始采集的URL地址，可以是一个url可以是多个url
3、parse（）:相应数据的解析函数，使用scrapy开发爬虫项目，我们不需要关心url 地址的调度、数据的下载。我们只需要关心在parse（self, response）函数中从response相应对象中提取数据
- scrapy中的response响应对象数据
支持css数据的提取方法：response.css('div.quotes')
支持xpath数据的提取方法： response.css('span/small/text()')
直接提取数据并转换成unicode编码：extract()/extract_first()
- 如果响应数据中包含需要继续采集的连接
提取连接
将连接交给scrapy继续采集： response.follow(url.func)
1、url:需要采集的URL地址
2、func：对目标URL地址进行数据采集完成之后，需要交给的解析函数【func:回调函数】（回头调用）
- 执行爬虫程序：scrapy runspider<爬虫程序名称.py>
3、第一个项目
scrapy项目，搭建的是一个程序平台，可以在这个平台上同时管理和维护【工作】多个爬虫程序，互相可以完全独立。
一个项目——>管理---->多个爬虫程序
创建第一个scrapy项目>
scrapy startproject [项目名称] #创建好的项目结构如下
|--【项目名称】/ #scrapy项目根目录
》》|--【项目名称】/ #scrapy 爬虫项目
》》》》|-- init.py
》》》》|-- spiders/ #存放爬虫程序的文件/目录/ 路径
》》》》|--items.py #封装采集数据的类型定义模块
》》》》|--middlewares.py #中间件定义模块
》》》》|-- settings.py #爬虫程序信息配置模块
》》|-- scrapy.cfg #scrapy爬虫项目配置信息以及部署信息
创建第一个爬虫程序
1）、自动创建
scrapy genspider <程序名称> <域名限制>
自动中【项目名称】/【项目名称】/spider/目录下，创建一个爬虫程序模块，在模块中自动生成爬虫代码！
开发人员：主要关注爬虫程序中start_urls和解析函数parse（）的处理即可。不需要关注技术上的实现。
2）、手工创建
在【项目名称】/【项目名称】/spider/目录下，手工创建一个xinlan.py模块，在模块中定义自定义类型，定义好的类型继承自scrapy模块中的scrapy类型，定义【name(程序名称)，allowed_domains(域名限制)，start_urls(起始采集地址)】属性和一个解析函数parse（）
程序启动：scrapy crawl 《爬虫的name名称》
待续~~~
