scrapy框架切换代理不成功，代理重用问题解决方案

2018-09-10 本文已影响104人 sexy_cyber

scrapy框架为了优化速度，内部有链接保持和链接重用机制，但是这个特点会导致，我们在爬虫用代理的时候，不能达到每个链接代理都是不同的目的；
可能遇到的情况是，连续10个请求用的是同一个代理！
解决这个问题需要修改源码：

目录
/Users/admin/.virtualenvs/spider/lib/python3.6/site-packages/Scrapy-1.5.0-py3.6.egg/scrapy/core/downloader/handlers/

不同电脑目录不同，scrapy/core/downloader/handlers/这个路径肯定不变，前面的，按需修改

进入这个目录后，找到http11.py,打开：
将这里的True修改为False

image.png