Flask与Redis 维护代理池

2018-10-07  本文已影响0人  FrankOnTheWay

为什么要使用代理池?

  1. 许多网站反爬虫,会封IP
  2. 网上大量免费代理,利用好资源
  3. 定时的检测维护可以得到多个可用代理

代理池要求

1 多站抓取,异步检测
2 定时筛选,持续更新
3 提供接口,易于提取

代理池架构

image.png

Windows上Redis的安装

Redis安装教程
RedisDesktopManager安装

代理池安装

代理池

Redis命令

启动redis

redis-server.exe redis.windows.conf 
上一篇 下一篇

猜你喜欢

热点阅读