Airflow简单介绍及测试安装

Airflow主要用于执行预定的批处理作业。它能够很好地管理不同的批量作业的关系，并给将复杂的关系图形化展示。

一句话：任何批量任务或者需要手动去触发执行的任务都可以考虑一下Airflow

airlow使用ansible role方式安装 https://github.com/idealista/airflow-role

更改role下的config.yml及templates/airflow-***.service.j2文件

将 /usr/local/bin/airflow 改为 /usr/bin/airflow

目的该role使用pkg只能在Debian 或 Ubuntu 环境下安装，更改后，可以在centos环境下安装

执行完以上 *** 作后本机就安装好了airflow，同时也配置好了service等。

安装好后展示

Airflow中文文档

任务调度神器 airflow 之初体验

airflow 安装，部署，填坑

airflow 配置 CeleryExecutor

浅谈调度工具——Airflow

如何部署一个健壮的 apache-airflow 调度系统

Airflow工作模式及适用场景

浅谈调度工具——Airflow

1、airflow文件上传

编写airflow文件之后上传，但是难以保证编写的airflow文件不出错。这时候放心大胆的上传即可，因为上传后airflow自带语法检测。可以根据提示，对文件进行重新修改后再上传。

2、运行时错误

即使通过了语法检测，也难以保证运行时不报错。解决方法：点击“GraphView”下的task的“viewlog”查看错误日志，根据错误日志，修改代码重新上传。然后“clear”,再“run”就可以重新执行了。

3、Run几天前的数据统计

只需要修改airflow文件中的args下的start_date。把时间往前提前，airflow平台回自动帮你运行之前的数据统计

背景 ：由于最近团队内部需要使用airflow调度，故使用进行一系列调度任务。记录一些在使用过程中遇到的问题

airflow 安装完成后，依次通过以下步骤，即可开始使用

参见： https://www.jianshu.com/p/cbff05e3f125

解析：只要看到authentication 很明显，权限问题，但是找不到到底是哪里权限有问题

原因：airflow webServer->Admin->Connections