爬虫架构|Celery+RabbitMQ快速入门（二）
在上一篇文章爬虫架构|Celery+RabbitMQ快速入门（一）中简单介绍了Celery和RabbitMQ的使用以及它们之间的合作流程。本篇文章将继续讲解它们是如何配合工作的。
一、Celery介绍和基本使用
Celery是一个基于Python开发的分布式异步消息任务队列，它简单、灵活、可靠，是一个专注于实时处理的任务队列，同时也支持任务调度。通过它可以轻松的实现任务的异步处理，如果你的业务场景中需要用到异步任务，就可以考虑使用Celery。举几个适用场景：
1）可以在 Request-Response 循环之外执行的操作：发送邮件、推送消息。
2）耗时的操作：调用第三方 API、视频处理（前端通过 AJAX 展示进度和结果）。
3）周期性任务：取代 crontab。
Celery有以下几个优点：
简单：一旦熟悉了Celery的工作流程后，配置和使用是比较简单的。
高可用：当任务执行失败或执行过程中发生连接中断，Celery 会自动尝试重新执行任务。
快速：一个单进程的Celery每分钟可处理上百万个任务。
灵活： Celery的大部分组件都可以被扩展及自定制。
二、选择Broker
Celery的基本架构和工作流程如下图2-1所示：
图2-1 Celery工作流程
常用的Broker有RabbitMQ、Redis、数据库等，我们这里使用的是RabbitMQ，如下图2-2所示：
图2-2 Celery+Broker工作流程
三、Celery安装使用
Celery是一个Python的应用，而且已经上传到了PyPi，所以可以使用pip或easy_install安装：
pip install celery
安装完成后会在PATH（或virtualenv的bin目录）添加几个命令：celery、celerybeat、celeryd 和celeryd-multi。我们这里只使用 celery 命令。
四、创建Application和Task
Celery的默认broker是RabbitMQ，仅需配置一行就可以：
broker_url = 'amqp://guest:guest@localhost:5672//'
rabbitMQ 没装的话请装一下，安装看这里http://docs.celeryproject.org/en/latest/getting-started/brokers/rabbitmq.html#id3
创建一个Celery Application用来定义任务列表。
实例化一个Celery对象app，然后通过@app.task 装饰器注册一个 task。任务文件就叫tasks.py：
from celery import Celery
app = Celery(__name__, broker='amqp://guest:guest@localhost:5672//')
@app.task
def add(x, y):
return x + y
五、运行 worker，启动Celery Worker来开始监听并执行任务
在 tasks.py 文件所在目录运行
$ celery worker -A tasks.app -l INFO
这个命令会开启一个在前台运行的 worker，解释这个命令的意义：
worker: 运行 worker 模块。
-A: –app=APP, 指定使用的 Celery 实例。
-l: –loglevel=INFO, 指定日志级别，可选：DEBUG, INFO, WARNING, ERROR, CRITICAL, FATAL
其它常用的选项：
-P: –pool=prefork, 并发模型，可选：prefork (默认，multiprocessing), eventlet, gevent, threads.
-c: –concurrency=10, 并发级别，prefork 模型下就是子进程数量，默认等于 CPU 核心数
完整的命令行选项可以这样查看：
$ celery worker --help
六、调用Task
再打开一个终端， 进行命令行模式，调用任务。
from tasks import add
add.delay(1,2)
add.apply_async(args=(1,2))
上面两种调用方式等价，delay() 方法是 apply_async() 方法的简写。这个调用会把 add 操作放入到队列里，然后立即返回一个 AsyncResult 对象。如果关心处理结果，需要给 app 配置 CELERY_RESULT_BACKEND，指定一个存储后端保存任务的返回值。
七、在项目中的简单使用流程
1）RabbitMQ所在服务器，启动crontab设置 crontable -user user -e设置定时执行celery application应用。
python tasks.py day
2）在task.py文件里面启动一个叫做app的Celery Application，编写一个app.task函数来produce 任务到rabbitmq。
app = Celery()
app.config_from_object(celeryconfig)
3）在每个worker里面通过命令启动worker消费任务
$ celery worker -A tasks.app -l INFO
