airflow 升级1.10
2019-04-08 本文已影响0人
叫兽吃橙子
1.查看 airflow 配置
tail -6 .bashrc
#dongyuan add:virtualenvwrapper的配置
export WORKON_HOME=/data/pyspark/pyenvhome
export VIRTUALENVWRAPPER_PYTHON=/opt/anaconda3/bin/python
export VIRTUALENVWRAPPER_VIRTUALENV=/opt/anaconda3/bin/virtualenv
source /opt/anaconda3/bin/virtualenvwrapper.sh
2.启动虚拟环境
workon pyenv20190325
3.找出 airflow 安装包的位置
pip show apache-airflow #查看命令
/data/pyspark/pyenvhome/pyenv20190325/lib/python3.6/site-packages #安装路径
4.指定 airflow 安装的根目录
echo 'export AIRFLOW_HOME=/data/pyspark/pyenvhome/pyenv20190325/airflow' >> $WORKON_HOME/postactivate
5.修改源码的链接 airflow 修改中国时区(改airflow源码)
6.打印 airflow 根目录的路径
echo $AIRFLOW_HOME #打印命令
/data/pyspark/pyenvhome/pyenv20190325/airflow #安装路径
7.解决异常
1.No module named 'MySQLdb'
pip install mysqlclient
2.打开窗口才运行,关闭就不运行
airflow scheduler -D #后台运行任务