scrapy
-
Scrapy是用纯python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛
-
Scrapy架构图(绿线是数据流向)：
image
-
Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
-
Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
-
Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理
-
Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，
-
Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.
-
Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。
-
Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）
一、新建项目(scrapy startproject)
- 创建爬虫项目
scrapy startproject 项目名称 （有些用户需要前面加上python -m）
- 新建爬虫文件
scrapy genspider 爬虫文件 域名
- item 定义结构化数据字段，用来保存爬取到的数据，有点像Python中的dict，但是提供了一些额外的保护减少错误。
item文件
class JobboleItem(scrapy.Item):
# define the fields for your item here like:
#标题
title = scrapy.Field()
#创建时间
create_date = scrapy.Field()
#文章地址
url = scrapy.Field()
#id
url_object_id = scrapy.Field()
#文章图片
front_image_url = scrapy.Field()
#文章图片地址
front_image_path = scrapy.Field()
# 点赞数
praise_nums = scrapy.Field()
#收藏数
bookmark_nums = scrapy.Field()
二、制作爬虫
# -*- coding: utf-8 -*-
import scrapy
class JobboleSpider(scrapy.Spider):
name = '爬虫文件'
allowed_domains = ['网站域名']
start_urls = ['https://xxx.xxxx.com/xxxx-x/']
def parse(self, response):
pass
-
name = " " ：这个爬虫的识别名称，必须是唯一的，在不同的爬虫必须定义不同的名字。
-
allow_domains = [] 是搜索的域名范围，也就是爬虫的约束区域，规定爬虫只爬取这个域名下的网页，不存在的URL会被忽略。
-
start_urls = () ：爬取的URL元祖/列表。爬虫从这里开始抓取数据，所以，第一次下载的数据将会从这些urls开始。其他子URL将会从这些起始URL中继承性生成。
-
parse(self, response) ：解析的方法，每个初始URL完成下载后将被调用，调用的时候传入从每一个URL传回的Response对象来作为唯一参数
三、在parse方法中做数据的提取
from jobboleproject.items import JobboleprojectItem
1.获取图片和文章详情的链接
def parse(self, response):
# css选择器获取当前列表页面的所有的节点
post_nodes = response.css("#archive .floated-thumb .post-thumb a")
# 如果不是完整的域名 需要拼接完整 response.url + post_url
# 获取到的URL可能不是一个域名，也可能是具体的文章需要使用parse函数from urllib import parse
for post_node in post_nodes:
image_url = post_node.css("img::attr(src)").extract_first("")
post_url = post_node.css("::attr(href)").extract_first("")
full_url = response.urljoin(post_url)
#meta参数对应的是一个字典，用来传递数据
yield scrapy.Request(url=full_url, meta={"front_image_url": image_url},
callback=self.parse_detail)
2.然后将我们得到的数据封装到一个 JobboleItem 对象中，可以保存每个文章的属性：
def parse_detail(self,response):
# print(response)
# 使用xpath语法或者css语法提取网页的相关信息
# extract（） 串行化并将匹配到的节点返回一个unicode字符串列表
item = JobboleprojectItem()
#标题
item['title'] = response.xpath('//div[@class="entry-header"]/h1/text()').extract_frist("")
#发布日期
item['create_date'] = response.xpath("//p[@class='entry-meta-hide-on-mobile']/text()").extract_first("").strip().replace("·","").strip()
#文章地址详情地址
item['url'] = response.url
# http://blog.jobbole.com/113949/
#文章的id
item['url_object_id'] = re.match(".*?(\d+).*", url).group(1)
# 文章图片
item['front_image_url'] = response.meta.get("front_image_url","")
# 点赞数
item['praise_nums'] = response.xpath("//span[contains(@class,'vote-post-up')]/h10/text()").extract_first("")
# 收藏数
bookmark_nums = response.xpath("//span[contains(@class,'bookmark-btn')]/text()").extract_first("")
match_bookmark_nums = re.match(".*?(\d+).*",bookmark_nums)
if match_bookmark_nums:
item['bookmark_nums'] = int(match_bookmark_nums.group(1))
else:
item['bookmark_nums'] = 0
# 评论数
comment_nums = response.xpath("//a[@href='#article-comment']/span/text()").extract_first("")
match_comment_nums = re.match(".*?(\d+).*",comment_nums)
if match_comment_nums:
item['comment_nums'] = int(match_comment_nums.group(1))
else:
item['comment_nums'] = 0
# 文章内容
item['content'] = response.xpath("//div[@class='entry']").extract_first("")
# 过滤评论标签
tag_list = response.xpath("//p[@class='entry-meta-hide-on-mobile']//a/text()").extract()
tag_list = [element for element in tag_list if not element.strip().endswith("评论")]
# 标签
item['tags'] = ",".join(tag_list)
print(item)
# return返回数据，不经过pipelines
# return item
# yield将获取的数据交给pipelines
# yield item
简单地讲一下：
yield 的作用就是把一个函数变成一个 generator（生成器），带有 yield 的函数不再是一个普通函数，Python 解释器会将其视为一个 generator。
四、编写Item Pipeline
import something
class SomethingPipeline(object):
def __init__(self):
# 可选实现，做参数初始化等
# doing something
def process_item(self, item, spider):
# item (Item 对象) – 被爬取的item
# spider (Spider 对象) – 爬取该item的spider
# 这个方法必须实现，每个item pipeline组件都需要调用该方法，
# 这个方法必须返回一个 Item 对象，被丢弃的item将不会被之后的pipeline组件所处理。
return item
def open_spider(self, spider):
# spider (Spider 对象) – 被开启的spider
# 可选实现，当spider被开启时，这个方法被调用。
def close_spider(self, spider):
# spider (Spider 对象) – 被关闭的spider
# 可选实现，当spider被关闭时，这个方法被调用
管道作用：
-
验证爬取的数据(检查item包含某些字段，比如说name字段)
-
查重(并丢弃)
-
将爬取结果保存到文件或者数据库中
五、重新启动爬虫
scrapy crawl jobbole
