常见的网关协议

2018-12-02 本文已影响12人喵帕斯0_0

常见的网关协议

在工作中一直使用PHP，但知道怎么开车，不知道车是怎么跑的是不行的，不然出问题了也不知道出在哪里，因此了解下PHP-FPM的运行原理。

CGI

通用网络接口（Common Gateway Interface），是用来规定Web Server和应用程序直接进行数据数据传输的协议。可以用任意语言来实现，只要我们使用的语言的能够支持标准输入、标准输出及环境变量等处理，就能够开发出一个CGI程序。

CGI

CGI的运行过程：

用户访问Web应用，发起一个HTTP请求，Web服务受到该请求；
HTTP服务器将请求数据从HTTP请求中解析出来，根据请求的URL创建一个新的CGI进程，并通过环境变量和标准输入传入到CGI进程中；
CGI进程根据请求进行逻辑处理，连接其他服务请求数据或者从DB获取数据或者只是单纯的进行逻辑运算；
CGI进程将处理的结果写入到标准输出中；
Web服务器从标准输出中读取相应，并返回给用户；
Web服务器关闭CGI进程。

从上面可以看出，对于每一个用户请求，都需要重新fork一个子进程处理请求、请求结束销毁子进程的过程，如果是少量请求，如果是大并发，这种fork-and-execute显然不适合，这是就出现了下面要讲的fastcgi模式。

FastCGI模式

FastCGI

快速通用网关接口（Fast Common Gateway Interface/FastCGI）是CGI的改进版，FastCGI的提出旨在减少Web服务器与CGI进程交互的开销，使得服务器能够服务更多的请求。与CGI每次创建一个子进程不同的是，FastCGI的CGI进程在服务器启动的时候就已经创建好了（常驻形式），并由FastCGI进程管理器管理，而不是由Web服务器创建。并且，与CGI通过标准输入和标准输出进行通信不同的是，Web服务器和FastCGI进程之间是通过IPC（进程间通信）来处理用户的请求的。

FastCGI处理请求的过程：

Web Server启动时载入FastCGI进程管理器；
FastCGI进程管理器进行自身初始化，并根据配置启动多个CGI进程并循环等待来自Web Server的请求；
用户访问Web应用，发起一个HTTP请求，Web接受到请求后，将请求通过IPC通信转发一个CGI进程，Web Server将环境变量和请求数据写入到标准输出（流数据包），由CGI进程读取。
CGI进程完成处理后将结果输出到标准输出（流数据包），然后接续等待下一个请求；
Web Server从标准输出读取请求结果并返回给用户。

FastCGI通信协议

同HTTP一样，FastCGI由消息头和消息体组成

主要消息头如下：

消息头	作用
Version	协议版本号
Type	消息的类型，用于指定指定处理这个消息的方法
RequestID	标识当前所属的FastCGI请求，如果一个连接仅处理一个请求，RequestID存在的意义就不大了
Content Length	数据包包体所占字节数

消息类型定义：

消息类型	描述
BEGIN_REUQEST	从Web Server发往CGI，表示开始处理新的请求，其中带RequestID
ABORT_REQUEST	从Web Server发往CGI，表示终止一个处理中的请求
END_REQUESST	CGI发送给Web Server，表示该请求完成，返回数据里包含返回代码，决定请求是否成功处理
PARAMS	从Web Server发往CGI，可以发送多个数据包，发送接收标识为一个长度为0的空包，该中的数据类型和CGI协议一致
STDIN	从Web Server发往CGI，用于CGI从中读取用户提交的POST数据
STDOUT	从Web Server发往CGI，包含返回给用户的数据

具体交互过程：

Web Server接收用户请求，然后将请求转发给FastCGI进程；
FastCgi进程决定是否处理请求，如果接收请求，则从连接中读取数据；
Web Server发送包含RequestID的BEGIN_REQUEST类型消息给CGI进程，后续所有的数据包都会带上该RequestID，然后Web Server发送任一的PARAMS类型消息到FastCGI进程，发送接收后，Web服务器发送一个空的PARAMS消息包，表示PARAMS类型消息发送完毕，如果包含POST数据，Web Server会通过STDIN消息类型发送给FastCGI进程，当POST内容发送完毕后，会发送一个空的STDIN消息包；
CGI进程从连接中读取相关数据，如果拒绝请求则发送ENDQUEST请求，否则读取请求数据，进行处理，将处理结果通过STDOUT消息类型发送给Web Server，并通过ENDREQUEST告知Web Server处理的结果。

PHP-FPM

PHP-FPM（PHP-FastCGI Process Manager），是PHP FastCGI的实现，提供了进程管理的功能。
PHP-FPM由两种进程组成：Master进程和Worker进程，一个PHP-FPM通常只有一个Master进程，用来管理Worker进程，但其中一个子进程异常退出后，能够重启新的子进程，还负责其他管理功能，如平滑启动等；一个PHP-FPM通常存在多个Worker进程，所有的Worker进程监听同一个端口，当一个请求进来时，谁抢到就谁负责处理，每个进程内嵌一个PHP解释器，用来执行PHP代码。

Nginx和PHP-FPM

通过指令fastcig_pass指定fastcgi监听的地址（TCP/UDS），Nginx在接收相关请求时，会将请求通过改地址进行转发。

WSGI

Web Server Gateway Interface，是用在python web框架编写的Web Server和Web Application之间通信的规范，要实现WSGI协议，必须同时实现Web Server和Web Application。

有了WSGI协议，只要server和application都遵循WSGI协议，那么就可以随意的组合。比如，uWSGI和Gunicor是实现了WSGI协议的Server端，Django、Flask是实现了WSGI协议的Application端，那么实际使用时，可以随意搭配使用。

实现简单的WSGI服务

Web Application

一个可调用对象（可以使方法/函数/类/对象，只要有obj.__call__即可）
接受2个参数：

字典environ，包含环境变量；
回调函数start_response()，用来发送HTTP相应（包括HTTP状态码、HTTP返回报头）
Applicatin层无需关心environ和start_response()是如何实现的，只需要直接使用它们即可。
返回：可迭代对象，内容是返回包的内容（字符串）

def application (environ,start_response):
    response_body = 'Request method: %s' % environ['REQUEST_METHOD']
    # HTTP response code and message
    status = '200 OK'
    # HTTP headers expected by the client
    # They must be wrapped as a list of tupled pairs:
    # [(Header name, Header value)].
    response_headers = [
        ('Content-Type', 'text/plain'),
        ('Content-Length', str(len(response_body)))
    ]
    return [response_body]

Web Server

Web Server的作用就是构建一个可以让Application成功执行的环境，从输入获取正确的请求并解析，传递给Application，然后返回正确的Response。

Server层无需关心application对象是如何运作的，只需要传入什么和会返回什么即可。

import sys
import os  

#Make the environ argument
environ = {}
environ['REQUEST_METHOD'] = os.environ['REQUEST_METHOD']
environ['SCRIPT_NAME'] = os.environ['SCRIPT_NAME']
environ['PATH_INFO'] = os.environ['PATH_INFO']
environ['QUERY_STRING'] = os.environ['QUERY_STRING']
environ['CONTENT_TYPE'] = os.environ['CONTENT_TYPE']
environ['CONTENT_LENGTH'] = os.environ['CONTENT_LENGTH']
environ['SERVER_NAME'] = os.environ['SERVER_NAME']
environ['SERVER_PORT'] = os.environ['SERVER_PORT']
environ['SERVER_PROTOCOL'] = os.environ['SERVER_PROTOCOL']
environ['wsgi.version'] = (1, 0)
environ['wsgi.url_scheme'] = 'http'
environ['wsgi.input']        = sys.stdin
environ['wsgi.errors']       = sys.stderr
environ['wsgi.multithread']  = False
environ['wsgi.multiprocess'] = True
environ['wsgi.run_once']     = True  

#make the start_response argument
sent_header = False
res_status = None
res_headers = None  

def write(body):
    global sent_header
    if sent_header:
        sys.stdout.write(body)
    else:
        print res_status
        for k, v in res_headers:
            print k + ': ' + v
        print
        sys.stdout.write(body)
        sent_header = True  

def start_response(status, response_headers):
    global res_status
    global res_headers
    res_status = status
    res_headers = response_headers
    return write  

#here run the application
result = application(environ, start_response)
for value in result:
    write(value)

Web Middle

除了Application和Server，wsgi协议还规范了Midlle层，Middle介于Application和Server之间，Middle对于Application和Server来说是透明的，对于Application来说，Middle就是Server；对于Server来说，Middle就是Application。例如，服务器拿到了客户端请求的URL, 根据目标URL，将请求消息路由到不同的应用对象。在Python中可以实现为装饰器。如下，是一个简单的实现:

router = Router()  

@router('/test')
def test(environ, start_response):
    status = '200 OK'
    output = 'Test'
    response_headers = [('Content-type', 'text/plain'),
                        ('Content-Length', str(len(output)))]
    write = start_response(status, response_headers)
    return [output]  


result = router.route(environ, start_response)
for value in result:
    write(value)

常见的Python web框架都实现了wsgi server，但性能并不是很好，常常仅适用于开发环境；在生产环境中，使用最广的还是Gunicor和uWSGI。

与uWSGI/uwsgi的区别

uwsgi: 一种线路协议而不是通信协议，在此常用于在uWSGI服务器与其他网络服务器的数据通信，其中Nginx有插件支持该协议
uWSGI：一个web服务器，实现了WSGI协议、uwsgi协议、http协议等，对外可以使用uwsgi进行通信，对内使用WSGI协议调用具体的Application。

常见的网关协议