第一个爬虫

        在慕课网上学习了简单的爬虫该怎么写，看了一遍，敲了一遍，还是有些迷糊，于是，又把每一步的要点总结了一下。

课程地址：http://www.imooc.com/video/10674

######  spider_main

1.编写入口函数（main函数）

（1）设置要爬取的入口url

（2）通过SpiderMain（）创建一个spider

（3）调动spider的craw方法启动爬虫

（4）创建SpiderMain（）这个class，并创建craw（）函数

（5）在构造函数中初始化url管理器，下载器，解析器，输出器

（6）创建并初始化各个class并import他们

（7）在craw（）方法中将入口url添加进url管理器

（8）创建循环获取url管理器中的一个待爬取url

（9）下载页面存储到html_cont

（10）通过parser解析（new_url,html_cont）创建new_urls,new_data(新链接和新数据)

（11）outputer收集数据

（12）调用outputer的output_html（）输出收集到的数据

（13）创建各个方法

（14）创建count，记录爬取了第几个url

（15）加判断，1000个爬取后停止

（16）加异常处理，加到try块中

###### url_manager

（1）在构造函数中创建new_urls和old_urls

1.在add_new_url中

（1）判断url是否为空

（2）若url既不在new_urls中也不在old_urls中，add进new_urls

2.在add_new_urls中

（1）判断url是否为空或长度是否为0

（2）通过循环，将url加入new_urls（调用add_new_url）

3.在has_new_url中

（1）判断url是否为0，并返回

4.在get_new_url中

（1）通过pop函数获取待爬取url

（2）将获取的url放入old_urls

（3）返回获取到的url

###### HtmlDownloader

1.在download函数中

（1）判断url是否为空

（2）通过urllib的urlopen打开url

（3）通过判断getcode（）是否为200 判断请求是否成功

（4）若成功，返回read（）

###### HtmlParser

1.在parse中

（1）判断page_url和html_url

（2）创建soap，加载cont

（3）创建两个本地方法，获取urls和data

（4）实现两个方法,并返回

2.在_get_new_urls中

（1）通过soup获取所有的链接（用正则表达式）

（2）通过循环，将所有链接放入link['href']

（3）将不完整的链接拼接（通过urljoin）

（4）将链接添加到new_urls,返回new_urls

3.在_get_new_data中

（1）建立res_data存放title和summary数据

（2）建立title_node，summary_node

（3）通过soup，提取数据

（4）将数据提取出来，放入res_data中

（5）将url也放入res_data

（6）返回res_data

######Outputer

1.在构造函数中初始化，建立列表维护数据

2.在collect_data中

（1）判断数据是否为空

（2）不为空就加入到self.datas

3.在output_html中

（1）建立文件输出对象

（2）加入html，body，table标签和他们的闭合标签

（3）在每一行中，输出data的url，title，summary

（4）用encode将编码规则变为utf-8