Airflow 中文文档：用Dask扩展
2018-11-29 本文已影响7人
布客飞龙
DaskExecutor允许您在Dask分布式群集中运行Airflow任务。
Dask集群可以在单个机器上运行，也可以在远程网络上运行。 有关完整详细信息，请参阅分布式文档 。
要创建集群，首先启动调度程序：
# default settings for a local cluster
DASK_HOST = 127 .0.0.1
DASK_PORT = 8786
dask-scheduler --host $DASK_HOST --port $DASK_PORT
接下来，在任何可以连接到主机的计算机上启动至少一个Worker：
dask-worker $DASK_HOST : $DASK_PORT
