教你如何快速构建ip代理池！
代理池主要由5部分组成：ProxyGeter(代理获取模块)、RedisClient(代理管理模块，负责存储、删除、取出等基本操作)、Texter(代理可用性测试模块)和Web_Api(用户获取模块)。
从几个代理网站爬取最新的代理，并把代理存储到redis数据库中
主要实现ip的删、减、增等基本操作， 采用reids的几方面原因如下：
redis的hash数据结构可以为IP的有效性（根据可用性分为0-100）进行评分；
redis提供的key-value更方便地储存IP;
对于IP的存储、提取、删除、查询数量等功能会更加地快捷；
模块的主要目的是检测ip的可用性。提前设置好需要检测的网站站点，然后随机取出数据库中的代理，用获取到的ip来访问目标站点：
若访问无效，首先降低ip的分数等级（减10），其次做判断：若该ip的分数等级低于10分直接从reids数据库中删除；
若访问有效，首先增加ip的分数等级（加10），其次更新reids中该ip的分数等级；
为了让用户获取可用性ip更加方便一点，这里利用flask框架做了一个API，这个接口连接着redis数据库；
当打开这个api开关时,直接从redis数据库中随机获取一个分数等级高的ip,用户可以通过访问这个接口（提供的url）就可以获取相应的IP代理。
这四个模块时彼此独立的（例如，当检测一个ip不可用时，需要调用RedisClient来从数据库中删除这个ip），因此需要引入一个新的模块:Schedule来进行协调。
代理池的运作关系如下图：
在构建ip代理池过程中，如果使用redis数据库和flask框架，则需要提前完成相关配置。
部分代码：
classTester(object):def__init__(self):self.redis =Redisclient()asyncdeftext_single_proxy(self,proxy):'''测试单个代理的可用性；:param proxy:单个代理；:return: '''conn = aiohttp.TCPConnector(verify_ssl=False)asyncwithaiohttp.ClientSession(connector=conn)assession:try:ifisinstance(proxy,bytes): proxy =proxy.decode('utf-8') real_proxy ='http://'+proxyasyncwithsession.get(TEXT_URL,proxy = real_proxy,timeout =15)asresponse:ifresponse.statusinVAILD_SATTUS_CODES: self.redis.max(proxy) print('') print('代理可用',proxy)else: self.redis.decrease_proxy(proxy) print('请求响应码不合法',proxy)except(TimeoutError,AttributeError): self.redis.decrease_proxy(proxy) print('代理请求失败')defrun(self):'''调用主函数；:return: '''print('测试器开始运行')try: proxies = self.redis.get_all_prpxy() loop =asyncio.get_event_loop()#批量测试foriinrange(0,len(proxies),BATCH_TEXT_SIZE): test_proxies = proxies[i:i+BATCH_TEXT_SIZE] tasks = [self.text_single_proxy(proxy)forproxyintest_proxies] loop.run_until_complete(asyncio.wait(tasks)) time.sleep(5)exceptExceptionase: print('测试器发生错误',e.args)
获取、测试代理：
Flask_api接口获取代理：
以上是ip代理池的整个搭建过程，但是与映射于一句话 最便宜的也就是最贵的一样，源于免费，会造成大量用户使用，并且ip的质量堪忧，远不如付费ip。关于全部源码的获取方式：后台回复关键词：** ip代理0907 ** 即可。
