构建属于自己的代理IP池

对于学习爬虫来说，ip被禁几乎是常见的事。因此在爬取业务中，使用代理ip几乎是常态。但是对市面上的代理ip的服务，对于个人爬虫学习者来说，价格高昂。即使淘宝上的代理ip服务，质量高的价格昂贵， 价格适中偏低质量却参差不齐。 在茫茫互联网中，也有许多人开始构建属于自己的代理IP池， 通过爬取市面上的免费ip并定时验证其有效性来构建出自己的代理池。其中haipproxy是比较开源而且搞笑的代理池。 

本文也讲述如何构建出自己的代理池，通过爬取市面上公开的免费的代理IP进行验证，成本较低；技术上较为繁琐，但是你也可以从中学习到许多业务开放能力。 本项目旨在学习，继而顺便构建出自己的代理池。

前期准备/使用的框架模块

      阿里云服务器，建议使用linux系统

      python3.6 编译环境

      celery 任务分发模块，你可以在从中学习到异步执行请求

      supervisor 进程监控模块，你可以学习到进程监控等业务

      sanic 服务端模块、你也可以使用flask，套接字，其他方式等进行获取

      redis 存放的数据库

基本流程

创建proxy文件夹， 并该文件夹下依次创建以下.py文件：

__init__.py # 声明该文件是个模块

config.py  # celery的配置参数

crawler.py # 实例crawler.py

crawl_proxy.py # 实际爬取逻辑

valid_proxy.py # celery的处理任务

db.py # redis数据库的操作类

rules.py # 爬取目标网站的信息 ,以及队列名

api.py 获取随机代理IP api

项目详细地址proxy