4、celery的使用（与Django项目结合来用）

2020-04-14 本文已影响0人梦捷者

1、celery的基本知识点的参考
https://www.jianshu.com/p/da8a9c1e2c47

2、项目中发送短信为何要使用celery

首先，项目如果没有用celery，发送短信就是一个同步操作，会产生阻塞问题的出现；如果用celery，可以使发送短信操作成为一个异步操作，把同步的问题变成一个非阻塞，能多个客户端同时发送短信操作。
注意：发送短信操作是一个前端按钮，通过触发js来进行相应的请求操作。

3、celery的介绍

任务队列是一种跨线程、跨机器工作的一种机制.
任务队列中包含称作任务的工作单元。有专门的工作进程持续不断的监视任务队列，并从中获得新的任务并处理.
celery通过消息进行通信，通常使用一个叫Broker(中间人)来协client(任务的发出者)和worker(任务的处理者). clients发出消息到队列中，broker将队列中的信息派发给worker来处理。
一个celery系统可以包含很多的worker和broker，可增强横向扩展性和高可用性能。

4、celery的基本内部工作流程

worker: worker 是一个独立的进程，任务执行单元，它持续监视队列中是否有需要处理的任务；
broker: broker 消息传输中间件，任务调度队列，接收生产者发出的消息，将任务存入队列，broker 负责协调客户端和 worker 的沟通。客户端向队列添加消息，broker 负责把消息派发给 worker。
任务结果 backend：backend 存储任务执行结果，同消息中间件一样，需要由其他存储系统提供支持。

5、celery的使用场景
Celery是一个Python开发的分布式任务调度模块，因此对于大量使用Python构建的系统，可以说是无缝衔接，使用起来很方便。Celery专注于实时处理任务，同时也支持任务的定时调度。因此适合实时异步任务、定时任务等调度场景。

6、celery在项目的基本使用

1、celery的安装
pip install celery
2、在项目根目录下下创建celery_tasks文件夹用于保存celery异步任务。

（1）并在在celery_tasks目录下创建config.py文件，用于保存celery的配置信息（相当于任务队列---中间人作用，保存请求任务）。

broker_url = "redis://192.168.212.132/15"

（2）在celery_tasks目录下创建main.py文件，用于作为celery的启动文件。

from celery import Celery

# 为celery使用django配置文件进行设置
import os
if not os.getenv('DJANGO_SETTINGS_MODULE'):
    os.environ['DJANGO_SETTINGS_MODULE'] = 'my_projects.settings'

# 创建celery应用/实例
app = Celery('send_sms')

# 导入celery配置
app.config_from_object('celery_tasks.config')

# 自动注册celery任务（真正执行短信发送的任务）
app.autodiscover_tasks(['celery_tasks.sms'])

（3）在celery_tasks目录下创建sms目录，用于放置发送短信的异步任务相关代码。在celery_tasks/sms/目录下创建tasks.py文件，用于保存发送短信的异步任务。

import logging

from celery_tasks.main import app
from utils.yuntongxun.sms import CCP

logger = logging.getLogger("django")


#触发函数，来进行发送短信任务。
@app.task(name='send_sms_code')
def send_sms_code(mobile, sms_num, expires,temp_id):
    """
    发送短信验证码
    :param mobile: 手机号
    :param sms_num: 验证码
    :param expires: 有效期
    :return: None
    """


    try:
        result = CCP().send_template_sms(mobile,
                                         [sms_num, expires],temp_id)

    except Exception as e:
        logger.error("发送验证码短信[异常][ mobile: %s, message: %s ]" % (mobile, e))

    else:
        if result == 0:
            logger.info("发送验证码短信[正常][ mobile: %s sms_code: %s]" % (mobile, sms_num))

        else:
            logger.warning("发送验证码短信[失败][ mobile: %s ]" % mobile)

（4）在verifications/views.py中改写SMSCodeView视图，使用celery异步任务发送短信。

from celery_tasks.sms import tasks as sms_tasks
class SmsCodesView(View):
""
""
# 使用celery异步处理短信发送任务

expires = 300
sms_tasks.send_sms_code.delay(mobile, sms_num, expires, 1)
return to_json_data(errno=Code.OK, errmsg="短信验证码发送成功")

（5）现在我们在创建一个worker，等待处理队列中的任务.打开终端，cd到celery_tasks同级目录中，执行命令:

celery -A celery_tasks.main worker -l info

 -A 选项指定 celery 实例 app 的位置
 -l 选项指定日志级别， -l 是 --loglevel 的缩略形式

（6）效果作用如下：

7、注意事项

这里的celery要和云通讯连接在一起，所以只能测试云通讯绑定的号码。

4、celery的使用（与Django项目结合来用）

猜你喜欢

热点阅读