scrapy 断点续传

总之我们要想保证爬取数据的完整就要牺牲程序的效率。

    有的人把所有爬取过的url列表保存到一个文件当中，然后再次启动的时候每次爬取要和文件当中的url列表   对比，如果相同则不再爬取。

    有的人在scrapy再次启动爬取的时候和数据库里面的数据做对比，如果相同则不存取。

    还有一种办法呢就是利用Request中的优先级（priority）