python爬虫我爱编程python爬虫系列

初识爬虫一(请求与响应)

2018-06-25  本文已影响5人  小新你蜡笔呢

1,首先,我们在了解爬虫之前我们要了解网页请求和响应的过程。

以百度为例:

打开Chrome浏览器,按下F12打开开发者模式换到Netword下,在url栏输入www.baidu.com,会看到Netword下有很多的响应,首先我们要明白这些是什么

Netword

name:请求的名称

name:请求的名称

status:响应的状态码

type:请求的文档类型

initiator:由那个进程发送的

size:下载(图片或资源)的大小

time:从请求到响应的时间

waterfall:网络请求可视化瀑布流模型

2,点击baidu.com会看到更加详细的信息,请求头,响应头和一些常见的信息这里只选择一些主要的来说。

头信息

例如General部分:

Request URL:请求的网址

Request Method:请求方法

Status Code:响应状态码

Remote Address:服务器地址和端口

值得注意的有请求方式常见的有两种:GET POST

GET 请求的参数包含在URL中可以直接看到。同时请求的数据最多只能有1024字节。

POST 请求以表单的形式提交不会体现在URL中,当要提交密码,或者大型文件的时候我们便会使用POST请求。

POST请求的提交方式(Content-Type):

application/x-www-form-urlencoded:表单提交

multipart/form-data:上传文件

application/json:josn数据

text/xml:xml数据

在请求头中重要的参数有:

Accept:指定用户接收的类型

Accept-Encoding:可接受的编码

Accept-Language:可接受的语言

Cookie: 维持当前会话

Host: 网址或请求的IP和端口号

User-Agent:浏览器的版本信息。我们在爬取信息时要设置这个,防止被识别为爬虫

在响应头中重要的有:

Date: 响应时间

Expires: 过期时间

Server:服务器信息

Set-Cookie: cookie

3,无状态HTTP

HTTP无状态是指HTTP是没有任何记忆能力的,不会记录此时的状态变化。

为了保持HTTP的连接状态,会话和Cookies应运而生!两者相互协作,一个在客户端,一个在服务端,实现了登录会话等。

在开发者模式中我们切换到Application左边我们便可以看到Cookies:

Cookies

Cookies属性:

name:Cookie的名称

Value:Cookie值

Domain:可以访问该Cookie的域名

Max Age:失效的时间

Path:使用的路径

Size:大小

HTTP:若为true,则只有在http中可以访问该Cookies信息

Secure:该Cookies是否是否使用安全协议传输,默认为false

这里可以说到HTTP和HTTPS:

HTTP即超文本传输协议,详情可以百度百科。而HTTPS是在HTTP下加入了SSL层,用来加密,来保证数据的安全性。

4,会话Cookie 和持久Cookie

其实没有会话和持久之分 ,只是时间不一样。

上述简单了解了下请求和响应时的属性分别表示什么。这些东西不说记住,但是看见了要知道是什么东西。

上一篇 下一篇

猜你喜欢

热点阅读