python 构建代理池1.0版

代理池

三天小长假， 朋友圈都被刷屏了，各种的照片，景色。真是不孬。 长的帅的约会去了，有钱的旅游去了，长的丑还没有钱的只能在家撸代码了。 朋友圈都是各种晒 ，其实我也晒了，我晒得被子。

我不笑
一直以来都想做一个代理池，但是一直都没有时间（其实是懒）。不过趁着这个小假期，终于搞出来了，实现了设想的基本功能，其他的功能后面再完善。
代码已经上传GitHub : https://github.com/topyuluo/IPProxyPool

下面详述：

自动携带避雷针

环境

windows(64) + python 2.7 + MongoDB + phantomjs + selenium + requests

设计思想

• 采集 ：周期性的从网络上采集免费的ip, 放入数据库中并启动10个进程，进行验证 ，验证成功单独存放。
• 使用： 初步想了两种方式，一种是做成服务，提供api 接口，一种是直连数据库。

设计

ip代理池程序由四部分组成：

• Schedule : 执行定时任务，每10分钟请求一下ip数据源，并验证ip可用性
• db : 存储数据，数据从网络上取下来，必定要找一个地方存储，也好维护
• collectproxy ： ip数据源， 由快代理，代理66 ，有代理， 西刺代理，代理360 组成。可扩展
• utils : 工具函数(Http请求 ，验证函数)。
• webservice: 提供外部访问接口。

框架图

框架.png

流程概述

启动Schedule, 由Scheduler调用collectProxy,去请求网络资源，collectProxy拿到数据后解析，并将解析好的数据返回给scheduler,数据入库，sheduler 验证数据库中已经存在的proxy, 验证成功，放入新表中。 此为周期性任务。
需要接入代理的爬虫，通过访问数据库或者api接口拿代理，如果此时可用代理数量不足，调用下载程序去网络采集新的数据。如果爬虫通过proxy没有成功请求到数据，此ip废弃，从验证成功库中删除，并请求一个新的proxy。考虑了一下，可能做成API的方式扩展性更好一些，直接调用网址就可以了，通用性更强。

项目目录

目录.png

目录接口说明

• ProxyRefreshSchedule : 调度任务，周期性执行数据源刷新，代理验证，并入库操作。
• CollectFreeProxy:封装网络数据源，调用工具函数下载接口，解析数据，将数据传给任务调度器。
• MongoDBClient : 数据库操作类，封装了，查询，删除，保存等接口
  -UtilsFunction :工具函数，数据下载接口，ip验证接口。
  -Api : 数据服务接口，封装返回单个proxy,返回多个proxy,查询数据总量等接口

程序效果

调度任务执行效果：

调度任务运行效果.png

数据库截图

*所有ip库 *

Paste_Image.png
已验证ip库 Paste_Image.png

api截图

Paste_Image.png

使用说明：

• 先运行ProxyRefreshSchedule ，等待10 分钟，设定的周期就是10分钟，感觉不合适可以自己修改。之后控制台会打印下载链接和已经验证成功的proxy。
• 运行 api.py 。
• 打开浏览器，输入http://127.0.0.1:5000 。可以查看接口的api。

---

---

少年听雨歌楼上，红烛昏罗帐。  
壮年听雨客舟中，江阔云低，断雁叫西风。
感谢支持！
                                        ---起个名忒难

---