新手向爬虫（四）Python爬取英文新书下载链接

该文是Python相关英文新书下载链接一文的代码实现部分，虽然有作者做过，但我还是自己重新用Scrapy实现了下，思路大致都差不多。

• 与前面的 新手向爬虫（三）别人的爬虫在干啥 和 绘制你的简书曲线 相比其实差别不大，多的地方在于

  1. 使用scrapy.Request函数的meta参数来在两次请求的响应中传值
  2. 对于动态js页面的处理：此次，网页是在加载之后自动执行js代码来修改html元素的属性，添加链接。首先我想到的是按着js代码来改出相应的python代码，用python代码的运算得到最终想要获取的值，虽然速度会快，但是比较繁琐，而且不够通用，也有可能有潜藏的问题，于是还是选择了最通用的selenium来控制浏览器加载页面，再获取自动运行js后的页面，然后利用正则分析页面，这样稍微慢一些，但是比较比较便捷稳定。

• 此外，此次爬取的网盘它的资源是放在不同的服务器上的，对应的是wwwxy.zippyshare.com，xy是数字来区别不同的服务器，所以在页面上获取到相对路由后要加上正确的服务器域名；还有就是这个网站的网盘资源链接具有时效性，过一段时间后它会重置资源的获取路径，而原来的资源链接会重新路由到下载界面；关于后处理中的迅雷下载，我采用了将所有链接放在一个txt文件里的方法，复制所有链接时迅雷会侦听到并询问下载，同时也生成了另一篇文章中的markdown文件方便挑选。另外，还有个小bug就是scrapy会打开两个浏览器窗口，但是只用一个，不影响功能，暂时没管，有朋友赐教的话，非常感谢。

Scrapy爬虫

我命名文件为book1.py，使用scrapy runspider book1.py -o 2.json运行。
用的是selenium操作Chrome浏览器，Chromedriver下载，使用时要指定该可执行文件的位置。
修改第7行的search_what获取其它资源的所有相关书籍链接，这里我选的是python。

# -*- coding: utf-8 -*-
import scrapy

from selenium import webdriver
import re

search_what = 'python'
browser = webdriver.Chrome(r'E:\python\Scrapy2\book\book\spiders\chromedriver') # 指定Chromedriver.exe的位置

class Book1Spider(scrapy.Spider):
    name = "book1"
    allowed_domains = ["foxebook.net", "zippyshare.com"]
    
    down_base_url = ".zippyshare.com" # wwwxy,xy为数字代表不同服务器
    search_url = "http://www.foxebook.net/search/{}/page/{}"
    book_base_url = "http://www.foxebook.net"
    wd = browser # 获得浏览器对象
    reg = re.compile('<a id="dlbutton" href="(.*)">')
    
    headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36",
    }
    
    num = 0 # 页数

    def start_requests(self): # 默认的开始函数，用于提供要爬取的链接
        yield scrapy.Request(self.search_url.format(search_what, 0),
                             headers = self.headers,
                             callback = self.first_parse)
                
    def first_parse(self, response):
        max_page = response.css('.next a::attr("href")').extract_first().split('/')[-2]
        print(int(max_page))
        while self.num < int(max_page):
            self.num += 1
            yield scrapy.Request(self.search_url.format(search_what, self.num),
                                 headers = self.headers,
                                 callback = self.list_parse)
                             
    def list_parse(self, response):
        title = response.css('h3 a::text').extract()
        img = response.css('.img-responsive::attr("src")').extract()
        download = response.css(' .btn-info::attr("href")').extract()
        info =  response.css('.info~ .info+ .info i::text').extract()
        for t, im, d, inf in zip(title, img, download, info):
            meta = {}
            # 使用 meta参数 传值
            meta['title'] = t
            meta['img'] = im
            meta['info'] = inf
            yield scrapy.Request(self.book_base_url + d,
                                 meta = meta,
                                 headers = self.headers,
                                 callback = self.book_parse)
                                 
    def book_parse(self, response):                                
        book_url_list = response.css('.table-hover a::attr("href")').extract()
        for i in book_url_list:
            book_url = 'http' + i.split('http')[-1]
            if 'zip' in book_url: # 网盘名包含zip，以此做判断，其它网盘效果一般，不采用
                self.wd.get(book_url) # 在浏览器中打开，通过self.wd.page_source获取浏览器里的响应内容
                try:
                    down_url = book_url.split('.')[0] + self.down_base_url + re.findall(self.reg, self.wd.page_source)[0]
                except:
                    break
                yield {
                    'title':response.meta['title'], 
                    'img':response.meta['img'], 
                    'info':response.meta['info'],
                    'down_url':down_url, 
                    'web_pan':book_url,
                }
            else:
                pass

# Debug
                # from scrapy.shell import inspect_response
                # inspect_response(response, self)
# scrapy runspider book1.py -o 2.json

数据后处理

# -*- coding: utf-8 -*-
import json

with open('2.json','r') as f:
    data = json.load(f)
    data = sorted(data, key =lambda x: x['info'][2:12], reverse=True)
    # 以出版日期对文章进行排序
    
    with open("1.txt", 'w') as t: 
    # 生成便于迅雷下载的链接文件
    # 先打开迅雷，再复制该文件内容，迅雷会自动弹出询问是否下载所有链接
        for i in data:
            t.write(i['down_url']+'\n')
            
    with open('1.md', 'w') as m: # 书籍有可能重复，但是链接是不同的，指向不同服务器
        m.write('### 英文Python电子书籍下载链接：\n')
        for i in data:
            m.write('- **[{title}]({down_url})** \n *{info}*\n ![](http:{img}) \n --- \n'.format(**i))
            # **i 表示解包字典

#import datetime
#datetime.datetime.strptime(x, '%Y-%m-%d')