Docker安装airflow（超详细）单机，集群部署教程

概述基于这个项目：gitclonehttps://github.com/puckel/docker-airflow上图的文件解压后如图：###更改配置文件vimairflow.cfg###文件移动docker-airflow底下所有文件放进/usr/local/airflowdocker的安装这里不再列出参考：https://www.runoob.com/docker/centos-docker-i

基于这个项目 ：git clone https://github.com/puckel/docker-airflow

上图的文件解压后如图：

### 更改配置文件vim airflow.cfg

### 文件移动

docker-airflow底下所有文件放进 /usr/local/airflow

docker的安装这里不再列出参考：https://www.runoob.com/docker/centos-docker-install.html

启动：docker-compose -f docker-compose-CeleryExecutor_not_work_big.yml up

创建python环境和导出包：

### python环境创建* 选着web容器 docker ps | grep airflow_webserver* 进入 docker exec -it -u root [容器ID] /entrypoint.sh bash* 导出安装包 pip freeze >> requirements.txt* 查看Python版本 python -V* 复制容器文件 docker container cp <容器ID>:<容器文件路径>  <主机文件路径>创建conda Python dev环境 conda create -n airflow python=3.7.9conda activate airflow进入dev环境安装包

安装python包：

pip install -r requirements.txtyum install MysqL-devel gcc gcc-devel python-develpip install psycopg2-binarypip install MysqLclIEnt==1.3.14

修改环境变量：

vi /etc/profileexport AIRFLOW_HOME=/usr/local/airflow/workerconfigexport C_FORCE_ROOT="true"source /etc/profile查看当前环境变量: env

启动worker：

查看worker占用的端口: lsof -i tcp:8793启动命令 测试一下airflow worker

执行成功

总结

以上是内存溢出为你收集整理的Docker安装airflow（超详细）单机，集群部署教程全部内容，希望文章能够帮你解决Docker安装airflow（超详细）单机，集群部署教程所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。