python爬虫的基本工作流程

1）首先选取一部分进行挑选的种子URL。

2）将这些URL放入待抓取URL队列

3）从待抓取URL队列中读取待抓取的URL，解析DNS，并且得到主机的IP，并将URL对应的网页下载下来，存储进已经下载网页库中。此外将这些URL放进已抓取URL队列。

4）分析已抓取URL队列中的URL，从已下载的网页数据中分析出其他URL，并和已抓取的URL进行比较去重，最后将去重过的URL放入待抓取URL队列，从而进入下一个循环。

python中实现HTTP请求的三种方法urllib2/urllib, httplib/utllib以及Requests。本文只介绍最好用的Requests方法。欲知怎么使用，且看下节分解。