爬虫小结

爬虫是一段自动获取网络数据的程序，用于做搜索引擎等，想做爬虫得实现如下三部

(1).找到目标URL

(2).根据URL发起请求

(3).解析响应结果：

    a).提取目标数据

    b).如何存在新的URL，进一步提取(会执行1-3这个循环)

我们爬虫使用python

爬虫分为两类：

通用爬虫和聚焦爬虫

通用爬虫:通用爬虫是浏览器的重要组成部分，将互联网上所有的网页下载到本地，做了一个镜像备份,提取重要数据（过滤数据，分词，去广告等等）

通用爬虫的缺点:

1.需要遵循robot协议:Robots协议（爬虫协议、机器人协议等）的全称是"网络爬虫排除标准"

2.搜索引擎返回的结果千篇一律没有很好的针对行，不能钩特殊的用户群体返回对应的数据

3.搜索引擎一般情况下获取的是文本信息，处理图像，音频，视频多媒体还是有困难的

聚焦爬虫：是面向主题的爬虫，由需求产生的爬虫，在爬取网页数据的时候，会对网页数据进行一些筛选，保只抓取和需求相关的数据，以后我们更多的就是实现聚焦爬虫

常见状态码：

100~199：表示服务器成功接收部分请求，要求客户端继续提交其余请求才能完成整个处理过程。

2xx：表示服务器成功接收请求并已完成整个处理过程。

200（OK 请求成功）

3xx：为完成请求，客户需进一步细化请求。例如：请求的资源已经移动一个新地址、 常用

301:　永久重定向

302：临时重定向（所请求的页面已经临时转移至新的url）

4xx：客户端的请求有错误.

400:错误请求，服务器无法解析请求

401:未授权，没有进行身份验证

403:服务器拒绝访问

404:服务器无法找到被请求的网页

408:请求超时

5xx:服务器端出现错误

500:服务器内部错误

501:服务器不具备完成请求的功能

503:服务器不可用