HTTP的请求与响应与curl命令的常规用法

2018-10-03 本文已影响31人夜未央_M

Server + Client + HTTP

浏览器负责发起请求
服务器在 80 端口接收请求
服务器负责返回内容，即响应
浏览器负责下载响应内容
HTTP 的作用就是指导浏览器和服务器如何进行沟通。

一、请求

1. 请求示例

curl -s -v -H "xxx: yyy" -- "https://www.baidu.com"
请求内容

GET / HTTP/1.1
Host: www.baidu.com
User-Agent: curl/7.60.0
Accept: */*
xxx: yyy

curl -X POST -s -v -H "xxx: yyy" -- "https://www.baidu.com"
请求内容

POST / HTTP/1.1
Host: www.baidu.com
User-Agent: curl/7.60.0
Accept: */*
xxx: yyy

curl -X POST -d "x12345" -s -v -H "xxx: yyy" --"https://www.baidu.com"
请求内容

POST / HTTP/1.1
Host: www.baidu.com
User-Agent: curl/7.60.0
Accept: */*
xxx: yyy
Content-Length: 6
Content-Type: application/x-www.form-urlencoded

x12345

2. 请求的格式

一 动词 路径 协议/版本号
二 Key1: value1
   Key2: value2
   Key2: value3
   Content-Type: application/x-www-form-urlencoded
   Host: www.baidu.com
   User-Agent: curl/7.60.0
三 回车（\n）
四 要上传的数据

请求最多包含四部分，最少包含三部分，第四部分可以为空
第三部分永远都是一个回车，用于分隔第二和第四部分
动词有 GET\POST\PUT\PATCH\DELETE\HEAD\OPTIONS 等
这里的路径包括 [查询参数]，但不包括 [锚点]
如果你没有写路径，默认路径为 /
第二部分中的Content-Type 标注了第四部分的格式

3. 使用Chrome开发者工具查看 HTTP 请求内容

打开Network（单击鼠标右键、F12、Ctrl + Shirft + I ）
地址栏输入网址
点开Network，查看 request，点击 [view source]
点击 [view source]，点击 [view source]，点击 [view source]
如果有请求的第四部分，在FormData 或 Payload可以看到

二、响应

1. 响应示例

curl -s -v -H "xxx: yyy" -- "https://www.baidu.com"

< HTTP/1.1 200 OK
< Accept-Ranges: bytes
< Cache-Control: private, no-cache, no-store, proxy-revalidate, no-transform
< Connection: Keep-Alive
< Content-Length: 2443
< Content-Type: text/html
< Date: Sun, 26 Aug 2018 11:37:04 GMT
< Etag: "588603ec-98b"
< Last-Modified: Mon, 23 Jan 2017 13:23:56 GMT
< Pragma: no-cache
< Server: bfe/1.0.8.18
< Set-Cookie: BDORZ=27315; max-age=86400; domain=.baidu.com; path=/

<!DOCTYPE html>
<!--STATUS OK--><html> <head>
后面省略......

curl -X POST -s -v -H "xxx: yyy" -- "https://www.baidu.com"

< HTTP/1.1 302 Found
< Connection: Keep-Alive
< Content-Length: 17931
< Content-Type: text/html
< Date: Sun, 26 Aug 2018 11:42:16 GMT
< Etag: "54d97488-460b"
< Server: bfe/1.0.8.18
<html>
<head>
<meta http-equiv="content-type" content="text/html;charset=utf-8">
后面省略......

GET请求和POST请求对应的响应可以一样，也可以不一样
响应的第四部分可以很长很长

2. 响应的格式

一   协议/版本号 状态码 状态解释
二   Key1: value1
     Key2: value2
     Key3: value3
     Content-Length: 17931
     Content-Type: text/html
三   回车
四   要下载的内容

状态码要背，是服务器对浏览器说的话
- 1xx 不常用
- 2xx 表示成功
- 3xx 表示滚吧
- 4xx 表示你丫错了
- 5xx 表示好吧，我错了
- 状态解释没什么用
第 2 部分中的 Content-Type 标注了第 4 部分的格式
第 2 部分中的 Content-Type 遵循 MIME 规范

3. 使用Chrome开发者工具查看 HTTP 响应内容

打开Network
地址栏输入网址
选中第一个响应
查看Response Headers，点击[view source]，点击[view source]，点击[view source]
看到响应的前两部分
查看Response 后者 Preview，看到响应的第四部分

三、补充
URL 全称： Uniform Resource Locator（统一资源定位符）
HTML 全称：Hypertext Markup Language（超文本标记语言）
HTTP 全称：Hypertext Transfer Protocol（超文本传输协议）
DNS 全称：Domain Name System（域名系统）

URI 分为URI 和 URN。
URL 是一种 URI，就是我们常说的网址。
URL 包括：协议、域名、端口号、路径、查询字符串、锚点

HTTP 的默认服务端口是：80
DNS 的作用：输入域名，输出对应 IP
我想让 baidu.com 域名指向 127.0.0.1 这个 IP 应该：修改本地 hosts 文件

curl -s -v -- "https://www.baidu.com" 返回的请求是：
GET / HTTP/1.1
Host: www.baidu.com
User-Agent: curl/7.60.0
Accept: /
回车

一个合法的 HTTP 请求第一行：GET / HTTP/1.1

一个合法的 HTTP 响应第一行： HTTP/1.1 200 OK

一个合法的 HTTP 请求第二部分：
Host: xiedaimala.com
User-Agent: curl/7.60.0
Accept: /

HTTP 请求中的 Content-Type：表示请求第4部分内容的格式
HTTP 响应中的 Content-Type：表示响应第4部分内容的格式

HTTP 响应中状态码 200：OK 表示请求已成功，请求所希望的响应头或数据体将随此响应返回。实际的响应将取决于所使用的请求方法。在GET请求中，响应将包含与请求的资源相对应的实体。在POST请求中，响应将包含描述或操作结果的实体。

HTTP 响应中状态码 301：Moved Permanently 表示被请求的资源已永久移动到新位置，并且将来任何对此资源的引用都应该使用本响应返回的若干个 URI 之一。

HTTP 响应中状态码 302：Found 表示 Moved Temporarily，要求客户端执行临时的重定向，并且客户端可以继续向原有地址发送以后的请求。

HTTP 响应中状态码 403：Forbidden 表示没有权限访问此站，服务器接收到请求但拒绝提供服务。

HTTP 响应中状态码 404：HTTP 404 或 Not Found 错误信息是 HTTP 的一种“标准回应信息”，此信息代表客户端在浏览网页时，服务器无法正常提供信息，或是服务器无法回应且不知原因。404错误信息可能与“Server Not Found”（无法找到服务器）或其他类似信息产生混淆。

HTTP 响应中状态码 500：Internal Server Error 表示通用错误信息，服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理，没用给出具体错误信息。

HTTP 响应中状态码 502：Bad Gateway 表示作为网关或者代理工作的服务器尝试执行请求时，从上游服务器接收到无效的响应。

curl 命令常规用法

-v显示请求详细信息

curl www.baidu.com -v

-X 指定请求方式

GET请求

curl -X GET http://localhost:8080/search?data=123  # -X GET是可选的

POST请求

curl -X POST -d"data=123&key=456" http://localhost:8080/search -v

由于-d选项为使用POST方式向server发送数据，因此在使用-d的时候，可以省略-X POST。使用-d时，将使用Content-type:application/x-www-form-urlencoded方式发送数据。

如果想使用JSON形式post数据，可以使用-H指定头部类型

curl -H "Content-Type:application/json" -d '{"data":"123","key":"456"}' http://localhost:8080/search -v

如果想在请求的时候带上Cookie，可以这样

curl -H "Cookie:username=XXX" {URL}

-H增加头部信息

例子见以JSON方法POST数据

Cookie相关

-c 存储cookie到文件

curl -d"name=zhangsan&password=123" http://localhost:8080/login -c ./cookie

使用用户名和密码登录系统，并将cookie信息存储在当前目录的cookie文件中

-b 携带cookie文件

curl http://localhost:8080/login -b ./cookie

‘-cookie’直接指定cookie

curl --cookie "name=zhangsan" http://localhost:8080/login

-F表单提交操作

curl可以通过-F命令来以Content-Type:multipart/form-data的形式向server post数据，该命令允许提交二进制文件等。可以使用@前缀来制定提交的内容为一个文件，也可以使用<符号来提交文件中的内容

curl -F prefile=@portrait.jpg https://example.com/upload.cgi

向服务器上传一个图片，图片的表单域名为profile，内容为protrait.jpg的二进制