scrapy爬取妹子图
废话不多说，爬取妹子图片
使用scrapy深度爬取，抓取妹子图全站图片
1.首先确认开发环境
使用scrapy框架，Python3.6
创建scrapy项目meizitu-scrapy
项目结构
spiders文件夹里为自己创建的爬虫文件
run.py为定义的启动scrapy 命令文件
2. 开发爬虫
首先定义item ，确定自己爬取的数据类型
items.py
开始开发爬虫
由于我们要抓取全站图片，所以使用深度爬取，爬虫继承的类为crawlspider
使用的模块
定义爬虫类，定义属性
这主要是确定爬虫的爬取起始网址和界限爬取的网址，
定义链接提取规则，scrapy封装的函数会将提取的链接加入爬取队列。解析筛选数据由callback调用的parse_item处理，此处不能使用parse，重点说明！！！！不能parse函数！！这是CrawlSpider进行匹配调用的函数，你要是使用了！rules就没法进行匹配啦！！
妹子图的界面
这是妹子图的单独一页，每页都有一个列表，单独一个图集里含有图集所有图片，之前链接提取的就是下面分页的链接。
接下来做的就是将得到的页面解析，得到图集的名称和图集的链接，也就是parse_item的主要任务。
parse_item函数
此处通过xpath得到列表，在for循环得到每个图集的数据，将其封装到item对象。由于我们需要进一步获取图集的每张图片的链接，所以需要再次爬取，爬取图集链接，得到具体页面的所有图片链接。
此处调用img-url函数处理爬取的结果，由于需要传递数据，
此处参考了Scrapy抓取在不同级别Request之间传递参数文章。
流程是这样的：
传递数据流程
图片链接获取
处理得到数据
在这里遇到一个问题：
得到封装的数据
如上图所示，得到封装后的数据。点击却发现得到的image_urls与name和URL不是一个对应的图集的，数据封装产生了混淆。如何解决呢？？？
。。。。。。。。。。。。。。。。。。。。
就是百度。
在CSDN 得到了解决，有人说是参数传递问题
参数说明
这是由于传递的item是浅拷贝，造成数据没有隔离，需要深拷贝来将数据隔离，避免产生混淆。使用深拷贝，保证内容的独立性。
import copy
yield Request(url,meta={'item':copy.deepcopy(item)},callback=self.img_url)
深度拷贝 copy.deepcopy(),而且copy是在yield传递的时候深度拷贝值,不是在接收的时候拷贝。
到此，已经能将获得的数据获得到。接下来就是数据存储或者将把图片弄回本地。
暂时到此，下次再说存储数据库和下载图片到本地。
