网络爬虫(武装你的爬虫)Python数据采集与爬虫辅助工具

【爬虫】免费代理IP地址列表与部分抓取源码

2016-12-26  本文已影响1801人  whaike

最近在学习爬虫程序,反爬时非常缺少代理IP,本来网上的有效免费代理就少,何况我需要的还必须支持HTTPS,就更少了,于是只能硬着头皮网上搜了,功夫负有心人,让我找到一些可用的地址,现将他们一一列举出来,有需要者可以免去寻找的烦恼了。
挑了几个比较好爬的,使用python 2.7爬取HTTPS代理并写入MySQL数据库(5.6)的代码见Github地址:https://github.com/whaike/HTTPSProxy/blob/master/httpsProxys.py

在网上看到一个比较好的代理IP池更新方案,每次校验之后对于数据库中的代理进行打分,合格的加分,失败的减分,分数高的保留,分数低的删除,最近实现了一个简易的,不好的地方请指正。详见Github一个带有打分机制的代理IP池

代理地址最后验证日期:2017-8-28
纯真
66免费代理网 #推荐
西刺免费代理IP
酷伯伯HTTP代理
快代理
proxy360.cn
站大爷
Free Proxy List
年少#不稳定
全网代理IP
IP海
每日代理 #渣渣
360代理IP
流年免费HTTP代理IP 24小时自助提取系统 #推荐
云代理
秘密代理IP #渣渣
迷惘网络IP代理
敲代码 免费代理IP网 #不稳定
代理IP检测平台,100免费代理IP
瑶瑶代理IP
米扑代理
httpdaili
蚂蚁代理
风云代理IP#不稳定
开心代理
讯代理
急速IP #渣渣
最后附上一篇关于代理IP的知识 [中国百科网 代理IP是如何获取的] (http://www.chinabaike.com/t/10475/2016/0530/5239251.html)

上一篇下一篇

猜你喜欢

热点阅读