A
airflow
Apache-2.0PythonApache Airflow - A platform to programmatically author, schedule, and monitor workflows
★ 47kFork 18k更新于 2026-09-14
软件介绍
Apache Airflow 是一个开源的工作流自动化平台，用于以编程方式创作、调度和监控数据管道。它允许用户将工作流定义为代码（DAG），从而实现可维护、可版本控制、可测试和可协作的管道管理。Airflow 的调度器在遵循依赖关系的同时，在工人阵列上执行任务，并提供丰富的命令行工具和用户界面，便于可视化生产中的管道、监控进度和排查问题。
核心功能
动态：管道以代码形式定义，支持动态 DAG 生成和参数化
可扩展：内置丰富的操作符，并可自定义扩展
灵活：利用 Jinja 模板引擎实现丰富的定制
丰富的用户界面：提供 DAG 概览、网格视图、图形视图、代码查看等功能
强大的调度器：支持依赖管理、重试、超时等
丰富的集成：通过提供者包支持多种外部系统（如 AWS、GCP、PostgreSQL 等）
适用场景
数据管道编排：ETL/ELT 流程的调度与监控机器学习工作流：模型训练、评估和部署的自动化数据仓库维护：定期数据加载、转换和清理基础设施自动化：定期执行脚本、备份和报告生成
Docker 部署
docker run -d --name airflow -p 8080:8080 apache/airflow:latest standalone
FAQ
Airflow 适合流式处理吗？
Airflow 不是流式解决方案，但常用于处理实时数据，通过批量拉取数据流。
如何安装 Airflow？
推荐使用 pip 安装，并指定约束文件以确保依赖兼容。例如：pip install 'apache-airflow==3.2.0' --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-3.2.0/constraints-3.10.txt"
Airflow 支持哪些数据库？
官方支持 PostgreSQL、MySQL 和 SQLite（仅用于测试）。不推荐 MariaDB。