scrapy爬取

2018-11-05 本文已影响2人 MA木易YA

豆瓣读书主页如下：

image.png

选取其中的编程类进行数据获取，原理都类似，一步一步获取，然后回调处理

image.png

我怕们准备对其中的主要图书样本进行简单获取，选取书名、作者、评分和图片进行获取

items.py

  book_name = scrapy.Field()
    author = scrapy.Field()
    star = scrapy.Field()
    image_urls = scrapy.Field()
    images = scrapy.Field()
    image_paths = scrapy.Field()

douban_spider.py

因为起始url是https://book.douban.com/tag/编程就是当前页，所以无需再进行url获取进行回调之类的，这里对于ur的处理就只有翻页上面url的变化，用xpath对下一页的url进行获取，形成一个列表，如果存在下一页，即转发给它对应的url，回调给处理函数进行数据处理，这里因为url结构简单明了，所以类似这样的连接也可以手动进行url拼接

class DoubanSpiderSpider(scrapy.Spider):
    name = 'douban_spider'
    allowed_domains = ['book.douban.com']
    start_urls = ['https://book.douban.com/tag/编程']

    #def start_requests(self):
     #   return scrapy.Request(self.start_urls[0],callback=self.parse)

    def parse(self, response):
        book_list = response.xpath("//div[@class='article']/div[@id='subject_list']/ul/li")
        for i_item in book_list:
            douban_item = DoubanItem()
            book_name = i_item.xpath("normalize-space(.//div[@class='info']/h2/a/text())").extract_first()
            douban_item['book_name'] = "".join(book_name)
            author = i_item.xpath(".//div[@class='pub']/text()").extract_first()
            # douban_item['author'] = i_item.xpath(".//div[@class='pub']/text()").extract_first()
            douban_item['author'] = "".join(author).replace('\n','').split('/')[1]
            douban_item['star'] = i_item.xpath(".//span[@class='rating_nums']/text()").extract_first()
            douban_item['image_urls'] = i_item.xpath(".//div[@class='pic']/a/img/@src").extract()
            yield douban_item
        next_link = response.xpath("//span[@class='next']/link/@href").extract()
        print(next_link)
        if next_link:
            next_link = next_link[0]
            yield scrapy.Request("https://book.douban.com"+next_link, callback=self.parse)

图片获取

因为对于图片获取又区别于其他数据，scrapy文档对于图片处理进行了详细定义，照搬更改相应板块即可

以下为官方解释说明:

Scrapy提供了一个 item pipeline ，来下载属于某个特定项目的图片，比如，当你抓取产品时，也想把它们的图片下载到本地。
这条管道，被称作图片管道，在 ImagesPipeline 类中实现，提供了一个方便并具有额外特性的方法，来下载并本地存储图片:

将所有下载的图片转换成通用的格式（JPG）和模式（RGB）
避免重新下载最近已经下载过的图片
缩略图生成
检测图像的宽/高，确保它们满足最小限制

这个管道也会为那些当前安排好要下载的图片保留一个内部队列，并将那些到达的包含相同图片的项目连接到那个队列中。这可以避免多次下载几个项目共享的同一个图片。
Pillow 是用来生成缩略图，并将图片归一化为JPEG/RGB格式，因此为了使用图片管道，你需要安装这个库。 Python Imaging Library (PIL) 在大多数情况下是有效的，但众所周知，在一些设置里会出现问题，因此我们推荐使用 Pillow 而不是PIL.

使用图片管道

当使用 ImagesPipeline ，典型的工作流程如下所示:

在一个爬虫里，你抓取一个项目，把其中图片的URL放入 image_urls 组内。
项目从爬虫内返回，进入项目管道。
当项目进入 ImagesPipeline，image_urls 组内的URLs将被Scrapy的调度器和下载器（这意味着调度器和下载器的中间件可以复用）安排下载，当优先级更高，会在其他页面被抓取前处理。项目会在这个特定的管道阶段保持“locker”的状态，直到完成图片的下载（或者由于某些原因未完成下载）。
当图片下载完，另一个组(images)将被更新到结构中。这个组将包含一个字典列表，其中包括下载图片的信息，比如下载路径、源抓取地址（从 image_urls 组获得）和图片的校验码。 images列表中的图片顺序将和源 image_urls 组保持一致。如果某个图片下载失败，将会记录下错误信息，图片也不会出现在 images 组中。

示例

import scrapy
from scrapy.contrib.pipeline.images import ImagesPipeline
from scrapy.exceptions import DropItem

class MyImagesPipeline(ImagesPipeline):

    def get_media_requests(self, item, info):
        for image_url in item['image_urls']:
            yield scrapy.Request(image_url)

    def item_completed(self, results, item, info):
        image_paths = [x['path'] for ok, x in results if ok]
        if not image_paths:
            raise DropItem("Item contains no images")
        item['image_paths'] = image_paths
        return item

这里将数据库对数据的存取和对图片的下载在一块处理，在设置中要注意优先级，得先获取图片。
pipelines.py

class MyImagesPipeline(ImagesPipeline):

    def get_media_requests(self, item, info):
        for image_url in item['image_urls']:
            yield scrapy.Request(image_url)

    def item_completed(self, results, item, info):
        image_paths = [x['path'] for ok, x in results if ok]
        if not image_paths:
            raise DropItem("Item contains no images")
        item['image_paths'] = image_paths

        # try:
        #     conn = pymysql.connect(host="localhost", user="root", password="299521", port=3306, db='douban')
        #     cur = conn.cursor()
        #     sql = "insert into book_home(image_path) values (%s)"
        #     i = item['image_paths']
        #     values = (i)
        #     cur.execute(sql, values)
        #     print(sql)
        # except Exception:
        #     print("Erro")
        # finally:
        #     conn.commit()
        # return item

        conn = pymysql.connect(host="localhost", user="root", password="299521", port=3306, db='douban')
        cur = conn.cursor()
        sql = "insert into book_home(book_name, author, star, image_path) values (%s, %s, %s, %s)"
        book_name = item['book_name']
        author = item['author']
        star = item['star']
        image_path = item['image_paths']
        values = (book_name, author, star, image_path)
        cur.execute(sql, values)
        # except Exception:
        # print("Error")
        # finally:
        conn.commit()
        return item

# class DoubanPipeline(object):
#     def process_item(self, item, spider):
#         conn = pymysql.connect(host="localhost", user="root", password="299521", port=3306, db='douban2')
#         cur = conn.cursor()
#         sql = "insert into book(book_name, author, star) values (%s, %s, %s)"
#         author = item['author']
#         book_name =item['book_name']
#         star = item['star']
#         # author = item['author'].extract()
#         # talk = item['talk'].extract()
#         # score = item['score'].extract()
#         # values = (bname, score, author, talk )
#         values = (book_name, author, star)
#         cur.execute(sql, values)
#         conn.commit()
#         return item

这里对于编程类图书的主页面进行了简单获取，下一篇会对详情页进行补充说明

其他爬虫代码可参考github

scrapy爬取

豆瓣读书主页如下：

选取其中的编程类进行数据获取，原理都类似，一步一步获取，然后回调处理

items.py

douban_spider.py

图片获取

以下为官方解释说明:

使用图片管道

示例

猜你喜欢

热点阅读