爬虫理论知识

2019-01-30 本文已影响0人 bda1a329d33d

什么是爬虫？

就是一段自动抓取互联网数据的程序或脚本

网页的三大特性

1.每个网页都有自己唯一的URL地址（统一资源定位符）
2.网页都是通过HTML(超文本)展示数据的
3.网页是通过HTTP/HTTPS（超文本传输协议）来传输HTML的

爬虫最基本的步骤

1.寻找目标URL地址，发起请求
2.获取请求响应结果，分析相应结果
3.从响应结果中提取数据

a.第一部分，从网页中提取的目标数据
b. 如果存在新的URL地址，则提取，继续发起请求

爬虫结束：所有的目标URL全部请求完毕，则爬虫结束

爬虫的分类

通用爬虫，聚焦爬虫

七层协议

应用层表示层会话层传输层网络层数据链路层物理层

应用层：http/https
传输层:TCP/UDP
TCP:网络传输协议,面向连接的,长连接,传输的是数据流
,确保数据的安全性和完整性,但是数据传输的效率低
UDP:网络传输协议,是非面向连接的,短连接,传输的是数据包,
传输数据是不安全的,可能会造成数据的丢失,传输速度非常快

http(超文本传输协议，端口号是80)
实现从网络传输草文本数据到本地浏览器的传送协议

https(端口号是443)：是http的安全版本，在http的基础上添加了一个SSL(安全套阶层)，用于WEB端的安全传送，在传输层对网络进行加密
1.构建了一个安全的数据传输通道
2.保证网站的真实性和有效性

常见的请求状态码：

URL介绍

URI:统一资源标志符
URN:统一资源名称
URL:统一资源定位符
URI是URN和URL的父类

scheme:指的是协议(https/http)
host:值得是服务器的ip或者域名
port:指的是端口号
path:资源路径
query_string:url地址后面的查询参数
anchor(锚点):可以指定要跳转的位置

parse

parse：可以对url进行拆分，组合，编码，解码，拼接
parse.urlencode()：将字典类型的参数转为url编码格式
get请求直接使用urlencode将参数转为url编码格式
post请求urlencode将参数转为url编码格式，然后用encode方法将字符串转为bytes类型
parse.parse_qs():将url编码格式转化为字典类型
parse.quote():将中文符转为url编码
parse.unquote():将url编码的字符转为中文字符
parse.urljoin():将不完整的url参照基类url拼接完整
parse.urlparse():解析url，将url拆分

error

error:在我们请求过程中，可能因为服务器错，弱网环境造成请求失败，这时我们需要对这些错误进行处理，不然会造成代码崩溃
error.URLError:
原因：没网络连接
服务器连接失败
找不到指定的服务器
有一个reason属性：返回错误原因
error.HTTPError:
HTTP请求错误
code：请求状态码
reason：返回错误原因
headers：返回响应头部

正则

单个字符

字符	功能
.	匹配任意1个字符（除了\n）
[ ]	匹配[ ]中列举的字符
\d	匹配数字，即0-9
\D	匹配非数字，即不是数字
\s	匹配空白，即空格，tab键
\S	匹配非空白
\w	匹配单词字符，即a-z、A-Z、0-9、_
\W	匹配非单词字符

多个字符

字符	功能
*	匹配前一个字符出现0次或者无限次，即可有可无
+	匹配前一个字符出现1次或者无限次，即至少有1次
?	匹配前一个字符出现1次或者0次，即要么有1次，要么没有
{m}	匹配前一个字符出现m次
{m,n}	匹配前一个字符出现从m到n次
^	开头
$	结尾

多字符匹配（非贪婪模式）
（*？）（+？）（？？）