使用flask开发api——在CentOS下部署flask，使用
2018-08-09 本文已影响0人
GREG蓝天
用flask开发了服务端的api，过程中遇到了些坑，记录部署上服务器的过程，以供后续使用。
安装python3.6
本身服务器只安装了python2，我需要安装python3，所以就下载安装python3.6，不能去动已安装的python2.X
1.下载
wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tar.xz
2. 解压
tar xvf Python-3.6.6.tar.xz
3.编译安装
进入目录 ./configure
make && make install
python3源码编译已经自带pip3
创建原生虚拟环境
也可以不用虚拟环境，如不用则跳过这步
cd /opt/app_server/your_project_name
python3 -m venv <venv_name>
# 比如： python3 -m venv test_venv
# 创建成功后，就会创建一个test_venv目录，该目录下就会有基础的python3文件
# 最后激活虚拟环境：
source test_venv/bin/activate
# 激活成功后，会在控制台中显示虚拟环境的名称。
安装项目中需要的python 模块
1.安装模块
# 先生成项目需要的模块：我这使用pipreqs，如果没有安装先安装： pip3 install pipreqs
# 这个工具的好处是可以通过对项目目录的扫描，自动发现使用了那些类库，自动生成依赖清单。缺点是可能会有些偏差，需要检查并自己调整下。
# 进入本地项目目录运行：
pipreqs ./
# 生成requirements.txt文件
# 把requirements.txt文件放到服务器上
pip3 install -r requirements.txt # 安装相应模块
2. 安装cx_Oracle
# 项目中需要连接oracle数据库，所以要安装cx_Oracle：
pip3 install cx_Oracle
# 安装时会检查系统中Oracle Client libraries的配置，如果没配置则会报错。
# 所以需要先配置Oracle Client libraries：具体可见https://oracle.github.io/odpi/doc/installation.html#linux
# 配置完后，安装不会报错。要注意:下载的cx_Oracle安装文件一定要跟pyhton的位数和版本一致,pyhton的位数最好是跟系统位数一致。
安装配置测试Gunicorn
1. 安装gunicorn
# 安装gunicorn
pip3 install gunicorn
# 等待安装完成
# 创建gunicorn存放日志文件夹，我这创建在项目目录下，方便查找
sudo mkdir /opt/app_server/your_project_name/logs
# 更改权限
sudo chmod -R 777 /opt/app_server/your_project_name/logs
2.测试gunicorn
# 这个时候其实已经可以运行了，进入项目路径下，运行：
gunicorn -b 0.0.0.0:8000 run:app
# run是flask的启动python文件，app则是flask应用程序实例
# 通过gunicorn -h可以看到gunicorn有非常多的配置项
3.创建gunicorn配置文件
配置文件的配置详解可以见：https://blog.csdn.net/y472360651/article/details/78538188
# -*- coding: utf-8 -*-
# 为了更好的管理gunicorn，通常会写个config文件，在项目目录下创建gunicorn_conf.py文件，内容如下
import os
import multiprocessing
# 获取当前该配置文件的绝对路径。gunicorn的配置文件是python文件,所以可以直接写python代码
path_of_current_file = os.path.abspath(__file__)
path_of_current_dir = os.path.split(path_of_current_file)[0]
chdir = path_of_current_dir
#workers = multiprocessing.cpu_count() * 2 + 1 # 可以理解为进程数，会自动分配到你机器上的多CPU，完成简单并行化
workers = 1 # 我这里不用多进程
worker_class = 'sync' # 默认的worker的类型，如何选择见：[http://docs](http://docs).[gunicorn.org/en/stable/design.html#choosing-a-worker-type](http://gunicorn.org/en/stable/design.html#choosing-a-worker-type)
bind = '0.0.0.0:18088' # 服务使用的端口
pidfile = '%s/gunicorn.pid' % path_of_current_dir # 存放Gunicorn进程pid的位置，便于跟踪
accesslog = '%s/logs/gunicorn_access.log' % path_of_current_dir # 存放访问日志的位置，注意首先需要存在logs文件夹，Gunicorn才可自动创建log文件
errorlog = '%s/logs/gunicorn_error.log' % path_of_current_dir # 存放错误日志的位置，可与访问日志相同
reload = True # 如果应用的代码有变动，work将会自动重启，适用于开发阶段
daemon = False # 是否后台运行
debug = False
timeout = 5 # server端的请求超时秒数
loglevel = 'error'
4.用gunicorn配置文件启动
gunicorn run:app -c your_path/gunicorn_conf.conf
# 可以看看日志是否启动，尝试访问看是否成功。
5.重启/关闭gunicorn进程
查看Gunicorn进程
pstree -ap|grep gunicorn
重启Gunicorn任务
kill -HUP 7865
关闭Gunicorn任务
kill -9 7862
安装配置supervisor做守护进程
虽然gunicorn在配置了daemon参数为True后，就是控制面板关闭后，进程也不会退出，但不会出错后自动重启等操作。所以还是需要使用supervisor做后台守护。注意，如果要用supervisor管理gunicorn的，gunicorn的配置文件中一定要把daemon设置为False，如果配置daemon = True的话supervisor启动就会报错。所以但凡用supervisor管理的话，需要将守护进程模式改掉。
# 退出虚拟环境
deactivate
1.如果服务器中没有安装supervisor，先进行安装
# yum的方式
# supervisor没有发布在标准的CentOS源，需要安装epel源。
# 这种方式安装的可能不是最新版本，但比较方便，安装完成之后，配置文件会自动帮你生成。
# 还有个问题，我发现用yum安装的老版本(2.x的版本)配置文件里没有[include]选项，手动添加也没用，不知道是不是我没配置好。
sudo yum install supervisor
# 我这使用easy_install的方式安装
easy_install supervisor
# 安装完后是没有配置文件的，需要手动添加
echo_supervisord_conf > /etc/supervisord.conf
# 这里添加好的配置文件里有[include]选项，只是被注释了。
2.配置supervisor 配置文件
默认配置文件有些地方是需要更改的。打开配置文件查看发现，supervisord.pid 以及 supervisor.sock 是放在 /tmp 目录下，但是 /tmp 目录是存放临时文件，里面的文件是会被 Linux 系统删除的，一旦这些文件丢失，就无法再通过 supervisorctl 来执行 restart 和 stop 命令了，会报错，所以修改这些目录：
[unix_http_server]
;file=/tmp/supervisor.sock ; (the path to the socket file)
;修改为 /var/run 目录，避免被系统删除
file=/var/run/supervisor.sock ; (the path to the socket file)
;chmod=0700 ; socket file mode (default 0700)
;chown=nobody:nogroup ; socket file uid:gid owner
;username=user ; (default is no username (open server))
;password=123 ; (default is no password (open server))
;[inet_http_server] ; inet (TCP) server disabled by default
;port=127.0.0.1:9001 ; (ip_address:port specifier, *:port for ;all iface)
;username=user ; (default is no username (open server))
;password=123 ; (default is no password (open server))
...
[supervisord]
;logfile=/tmp/supervisord.log ; (main log file;default $CWD/supervisord.log)
;修改为 /var/log 目录，避免被系统删除
logfile=/var/log/supervisor/supervisord.log ; (main log file;default $CWD/supervisord.log)
logfile_maxbytes=50MB ; (max main logfile bytes b4 rotation;default 50MB)
logfile_backups=10 ; (num of main logfile rotation backups;default 10)
loglevel=info ; (log level;default info; others: debug,warn,trace)
;pidfile=/tmp/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
;修改为 /var/run 目录，避免被系统删除
pidfile=/var/run/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
...
;设置启动supervisord的用户，一般情况下不要轻易用root用户来启动，除非你真的确定要这么做
;user=chrism ; (default is current user, required if root)
...
[supervisorctl]
; 必须和'unix_http_server'里面的设定匹配
;serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL for a unix socket
;修改为 /var/run 目录，避免被系统删除
serverurl=unix:///var/run/supervisor.sock ; use a unix:// URL for a unix socket
;serverurl=[http://127.0.0.1:9001](http://127.0.0.1:9001) ; use an http:// url to specify an inet socket
;username=chris ; should be same as http_username if set
;password=123 ; should be same as http_password if set
...
supervisor的配置参数较多，详细的配置及说明，请参考官方文档介绍，分号（;）开头的配置表示注释
为刚才创建的文件夹赋予权限：(如果指定了启动用户 user，那么应注意相关文件的权限问题，包括日志文件，否则会出现没有权限的错误。)
sudo chmod 777 /var/run
sudo chmod 777 /var/log
include配置
# 我们有多个项目不想在默认配置文件里改，为了便于区分，可以自己创建一个配置文件，然后在默认的配置文件supervisord.conf里最后加上如下字段：
[include]
files = /etc/supervisor/*.conf
# *表示导入任何后缀为conf的文件，也可以指定文件名导入. 多个conf文件使用空格分开即可
# supervisor文件夹如果不存在可以自行创建，当然也可以放在其他任何可访问的位置
在/etc/supervisor/下增加配置文件：my_job.conf
[program:my_job]
command=/opt/app_server/gunicorn_server_parkinglot/Envs/bin/gunicorn run:app -c /opt/app_server/gunicorn_server_parkinglot/my_job/gunicorn_conf.py
directory=/opt/app_server/gunicorn_server_parkinglot/my_job
autostart=true
autorestart=true
stopasgroup=true
stdout_logfile=/opt/app_server/gunicorn_server_parkinglot/my_job/logs/gunicorn_supervisor.log
stderr_logfile=/opt/app_server/gunicorn_server_parkinglot/my_job/logs/gunicorn_supervisor_err.log
使用浏览器管理
supervisor 同时提供了通过浏览器来管理进程的方法，只需要打开下面代码的注释就可以了。（就是把前面的；删除，如果是远程访问的则把ip改成0.0.0.0）
[inet_http_server] ; inet (TCP) server disabled by default
port=0.0.0.0:9001 ; (ip_address:port specifier, *:port for ;all iface)
username=user ; (default is no username (open server))
password=123 ; (default is no password (open server))
3.命令
supervisord : 启动supervisor
supervisorctl reload :修改完配置文件后重新启动supervisor
supervisorctl status :查看supervisor监管的进程状态
supervisorctl start 进程名 ：启动XXX进程
supervisorctl stop 进程名 ：停止XXX进程
supervisorctl stop all：停止全部进程，注：start、restart、stop都不会载入最新的配置文件。
supervisorctl update：根据最新的配置文件，启动新配置或有改动的进程，配置没有改动的进程不会受影响而重启
4.启动
启动supervisord后，可以访问服务器IP地址:9001，输入账号密码后就会看到管理界面。
PS : 我第一次启动的时候报错了：
2018-08-09 15:00:29,772 INFO gave up: my_job entered FATAL state, too many start retries too quickly
后来发现是因为前面说的gunicorn配置文件里，daemon参数忘记改回False了，故报错。改回配置后，重启还是失败，看了下进程，原来之前supervisor报错的时候其实gunicorn是已经启动了，所以要先把已经启动的gunicorn进程kill掉，然后重启supervisor，OK！测试，通过！
后续
因为我的是接口API服务，没有用到静态文件，没有对nginx进行说明，后面如有项目需要的可以再对nginx进行了解。
我这里没有把supervisor设置为开机自动启动，如有需要可参考https://blog.csdn.net/u011069013/article/details/73732855
