一、概述
腾讯云 EMR 提供 Airflow 集群类型(EMR on CVM 与 EMR on TKE 均支持),开箱即用地提供 Airflow 的部署、元数据管理、监控告警与运维能力,无需自行搭建 Scheduler / Worker 集群与元数据库。
二、版本说明
| EMR 产品发行版 | Airflow 版本 | 集群形态 | Executor | 发布时间 |
| Airflow-V1.0.0 | EMR on CVM | 2.10.5 | CeleryExecutor | 2026.08 |
| Airflow-V2.0.0 | EMR on CVM | 3.3.1 | CeleryExecutor | 2026.09 |
| EMR-TKE-AIRFLOW-V1.0.0 | EMR on TKE | 3.3.1 | CeleryExecutor、KubernetesExecutor(两种均支持) | 2026.09 |
注意:说明:
三、架构说明
EMR Airflow 集群包含以下角色:
| 角色 | 说明 |
| Airflow WebServer | 提供 Airflow Web UI,用于查看与触发 DAG、管理任务 |
| Airflow Scheduler | 负责解析 DAG 并按调度计划下发任务实例 |
| Airflow Celery Worker | CeleryExecutor 模式下的任务执行节点 |
| Airflow Celery Flower | Celery 任务队列监控面板 |
集群支持高可用(HA)与非高可用两种部署形态:
| 部署形态 | Master 节点 | Core 节点 | 最小节点数 |
| 非高可用 | WebServer ×1、Celery Flower ×2 | Scheduler、Celery Worker | 3(1 Master + 2 Core) |
| 高可用 | WebServer ×2、Celery Flower ×3 | Scheduler、Celery Worker | 5(2 Master + 3 Core) |
注意:非高可用集群仅建议用于测试环境,不建议作为生产环境使用。
四、元数据存储
创建 Airflow 集群时默认自动创建元数据库实例:
| 组件 | 存储方式 | 用途 | 默认规格 |
| Airflow MetaDB | 自动创建云数据库 MySQL 实例 | 永久存储 Airflow 所有任务历史运行记录 | TencentDB MySQL 8.0,通用型 2核4000MB,存储 100GB |
| Airflow 队列存储 | 自动创建云数据库 Redis 实例 | 临时存储 Celery 任务队列消息与任务执行状态 | TencentDB Redis 6.2 集群架构,4GB 内存,1 台 |
注意:说明:
五、功能支持范围
| 能力 | 支持情况 |
| WebUI(Airflow UI,8330 端口) | 支持 |
| 服务状态、角色健康状态、服务监控指标(Dashboard) | 支持 |
| 服务与角色运维操作(重启、启动、暂停、维护模式、查看端口、角色管理、配置管理) | 支持 |
| 扩容/缩容(添加、移除角色实例,满足最小规格前提下) | 支持 |
| 跨可用区部署(均衡策略) | 支持 |
| 配置管理、日志、集群脚本、引导操作 | 支持 |
| 后安装、组件自定义部署、组件卸载、客户端管理 | 不支持 |