python3下scrapy框架使用代理之meta参数设置

scrapy设置代理，可以在中间件中操作，也可以直接在meta函数中操作，记录一下后者

code：

红色注释部分完全不用管，都是我走的坑，这种设置代理的方式和requests库类似

这里使用的是认证代理，在meta参数中添加键值对，直接使用'proxy':'user:password@ip:port' 形式即可

我用的淘宝买的代理，不贵也稳定

启动爬虫，测试结果：

scrapy crawl httpbin

输出：

完全ojbk

而且这种优先级别是最高的

取消掉代理：

code：

再测试：