弹性 MapReduce Airflow 简介

Apache Airflow 是开源的工作流编排(Workflow Orchestration)平台,通过将有向无环图(DAG)定义为 Python 代码,实现对复杂批处理管道的定义、调度、重试、补数与监控,是大数据与数据仓库场景中的事实标准调度系统。

相关产品
弹性 MapReduce 产品页,含版本规格、价格与购买入口。

一、概述

腾讯云 EMR 提供 Airflow 集群类型(EMR on CVM 与 EMR on TKE 均支持),开箱即用地提供 Airflow 的部署、元数据管理、监控告警与运维能力,无需自行搭建 Scheduler / Worker 集群与元数据库。

二、版本说明

EMR 产品发行版 Airflow 版本 集群形态 Executor 发布时间
Airflow-V1.0.0 EMR on CVM 2.10.5 CeleryExecutor 2026.08
Airflow-V2.0.0 EMR on CVM 3.3.1 CeleryExecutor 2026.09
EMR-TKE-AIRFLOW-V1.0.0 EMR on TKE 3.3.1 CeleryExecutor、KubernetesExecutor(两种均支持) 2026.09

注意:说明:

三、架构说明

EMR Airflow 集群包含以下角色:

角色 说明
Airflow WebServer 提供 Airflow Web UI,用于查看与触发 DAG、管理任务
Airflow Scheduler 负责解析 DAG 并按调度计划下发任务实例
Airflow Celery Worker CeleryExecutor 模式下的任务执行节点
Airflow Celery Flower Celery 任务队列监控面板

集群支持高可用(HA)与非高可用两种部署形态:

部署形态 Master 节点 Core 节点 最小节点数
非高可用 WebServer ×1、Celery Flower ×2 Scheduler、Celery Worker 3(1 Master + 2 Core)
高可用 WebServer ×2、Celery Flower ×3 Scheduler、Celery Worker 5(2 Master + 3 Core)

注意:非高可用集群仅建议用于测试环境,不建议作为生产环境使用。

四、元数据存储

创建 Airflow 集群时默认自动创建元数据库实例:

组件 存储方式 用途 默认规格
Airflow MetaDB 自动创建云数据库 MySQL 实例 永久存储 Airflow 所有任务历史运行记录 TencentDB MySQL 8.0,通用型 2核4000MB,存储 100GB
Airflow 队列存储 自动创建云数据库 Redis 实例 临时存储 Celery 任务队列消息与任务执行状态 TencentDB Redis 6.2 集群架构,4GB 内存,1 台

注意:说明:

五、功能支持范围

能力 支持情况
WebUI(Airflow UI,8330 端口) 支持
服务状态、角色健康状态、服务监控指标(Dashboard) 支持
服务与角色运维操作(重启、启动、暂停、维护模式、查看端口、角色管理、配置管理) 支持
扩容/缩容(添加、移除角色实例,满足最小规格前提下) 支持
跨可用区部署(均衡策略) 支持
配置管理、日志、集群脚本、引导操作 支持
后安装、组件自定义部署、组件卸载、客户端管理 不支持
赞 (0)
上一篇 4天前
下一篇 4天前