Python爬虫-Proxy_Pool处理IP被封问题

2019-08-08  本文已影响0人  坤哥爱卿

Proxy_Pool下载地址:https://github.com/jhao104/proxy_pool

1.下载Proxy_Pool解压

2.解压后如下图

3.打开requirements.txt,打开命令行工具,pip install  库名  安装,通过命令 pip list可以查看已经安装过的包

4.到Run文件夹下运行main.py文件,可能出现下图的报错

报错

解决方法:

1 2

5.启动过几分钟后就能看到抓取到的代理IP,你可以直接到数据库中查看,推荐一个SSDB可视化工具(https://github.com/jhao104/SSDBAdmin)。

也可以通过api访问http://127.0.0.1:5010 

上一篇 下一篇

猜你喜欢

热点阅读