Scrapy 框架中的CrawlSpider爬虫的使用（二十一）

一、 创建CrawlSpider父类的爬虫

• 注意：运用CrawlSpider父类来进行爬虫的时候不要写parse(self,response)方法，因为CrawlSpider爬虫实现自动链接的这个功能（通过链接提取器 LinkExtractor来进行相应的操作）就是通过parse方法进行的，千万不要覆盖父类的parse(self,response)方法（即不要自定义parse(self,response)来进行操作）。
• 命令：scrapy genspider -t crawl hr.tencent hr.tencent.com（url）
  url 就是你想要爬取的网址。
• 注意：分析本地文件是一定要带上路径（scrapy shell默认为本地路径），scrapy shell调试的时候可以加访问的url或者不加。

二、继承CrawlSpider父类中的Rule方法

• Rule用来定义CrawlSpider的爬取规则(是rules元组的元素)
• 参数：
  （1）link_extractor：LinkExtractor对象，它定义如何从每个已爬网页面中提取链接（解析链接）。
  （2）callback：回调函数（每条规则解析链接地址后调用的函数）。
  （3）cb_kwargs ：是一个包含要传递给回调函数的关键字参数（是dict形式）。
  （4）follow：它指定是否应该从使用此规则提取的每个响应中跟踪链接（继续寻找链接）。
  （5）process_links ：用于过滤从LinkExtractor对象里面解析出来的链接的回调函数。
  （6）process_request：用于过滤请求的回调函数。

三、Rule属性中的LinkExtractor方法

LinkExtractor方法中必须要有allow参数，匹配符合规则的地址。

• LinkExractor也是scrapy框架定义的一个类。
• LinkExractor唯一的目的是从web页面中提取最终将被跟踪的链接。
• 我们也可定义我们自己的链接提取器，只需要提供一个名为extract_links的方法，它接收Response对象。并返回scrapy.link.Link对象列表。（不需要yiled，只需要解析链接地址即可，from scrapy.link import Link的列表）。
• LinkExtractor类中的deny=()参数的意思是不允许什么链接地址进行爬取，在LinkExtractor类中必须要有allow=()参数，如果两个参数同时出现的话，如果链接地址都符合则deny参数的优先级高。
• LinkExtractor类中的deny_domains=()是不允许爬取的域名。
• LinkExtractor类中的restrict_xpaths=()进行路径的限定进行爬取（一个地址链接或者一个区域的链接地址的限定）。
• LinkExtractor类中unique=True代表过滤相同的链接地址。