一、集群类型选型
DataBuddy 提供 4 种集群类型,分别匹配不同的任务负载特征:
二、作业集群
适合自动调度的批量数据处理、ETL 作业和可重复执行任务 。
| 特性 | 说明 |
| 引擎 | Spark |
| 计费模式 | 按量计费 |
| 自动启停 | 不支持 |
| 适用任务 | Workflow 中的 Notebook 任务、Python File 任务、SQL 任务 |
| 网络设置 | 支持出站、入站网络打通,详见 计算资源网络设置 |
| 特性 | 说明 |
| 引擎 | Ray |
| 计费模式 | 包年包月 |
| 自动启停 | 不支持 |
| 适用任务 | Workflow 中的 Ray 任务 |
| 网络设置 | 暂不支持 |
三、交互式集群
适合多用户协作的即席分析和数据探索 ,支持「无任务自动停止」以节省费用。
| 特性 | 说明 |
| 引擎 | Spark |
| 计费模式 | 按量计费 |
| 自动启停 | 支持 。可设置「无任务运行 N 分钟后自动停止」;有任务运行时自动启动 |
| 适用任务 | SQL 探索、Dashboard、ChatBI、文件上传到表 |
| 网络设置 | 支持出站、入站网络打通,详见 计算资源网络设置 |
四、平台集群
适合离线数据接入、自定义脚本和平台级服务化能力 。
| 特性 | 说明 |
| 引擎 | DataX |
| 计费模式 | 按量计费 |
| 自动启停 | 不支持 |
| 适用任务 | 离线数据接入任务(表到表 / 表到 Volume / 文件到表 / 文件到 Volume) |
| 网络设置 | 支持出站网络打通,详见 计算资源网络设置 |
五、实时集群
适合实时数据接入任务 ,基于 Oceanus(流式计算引擎)。
| 特性 | 说明 |
| 引擎 | Flink(Oceanus) |
| 计费模式 | 按量计费 |
| 自动启停 | 不支持 |
| 适用任务 | 实时整库多表接入、实时分库分表接入 |
| 网络设置 | 支持出站网络打通,详见 计算资源网络设置 |
六、选型建议
按场景优先选择对应集群类型,避免混用:
| 业务场景 | 支持的集群类型 | 说明 |
| 工作流中的批处理任务(Notebook、SQL、Python、Ray) | 作业集群 | 单作业独占,运行结束自动释放 |
| SQL 探索 / Dashboard / ChatBI / 文件上传 | 交互式集群 | 多用户共享,按 CU 隔离;闲时可自动停止 |
| 离线数据接入(表 / Volume / 文件) | 平台集群 | 支持丰富的离线数据源 |
| 实时数据接入(CDC、整库 / 分库分表) | 实时集群 | 实时引擎,常驻运行 |
| 数据源连通性测试 | 平台集群、实时集群 | 推荐与目标任务实际使用同一集群以保证测试准确性 |
注意:说明:
注意:不同集群类型在底层引擎、计费方式、运行模式上差异明显,不能跨集群类型迁移 。如果某类任务的负载发生变化,请创建新集群并迁移任务配置。
七、CU 与计费
DataBuddy 中所有集群以 CU(Compute Unit) 作为计算资源的统一计量单位:
·1 CU ≈ 1 核 4 GB 内存
·创建集群时可设置 资源配额 (CU 上限),按实际使用量计费
·实时集群中,除作业本身用量外,还会包含管控用量(默认 2 CU)和 Meta Agent 等连接器用量
八、集群状态生命周期
计算资源在整个生命周期中会经历以下状态:
| 状态 | 说明 | 适用集群 |
| 创建中 | 点击「创建」按钮后,后端正在初始化集群 | 全部 |
| 待启动 | 创建成功,尚未启动(仅交互式集群有此状态) | 交互式集群 |
| 启动中 | 点击「启动」按钮后,集群正在启动(仅交互式集群有此状态) | 交互式集群 |
| 运行中 | 集群已就绪,可承载任务 | 全部 |
| 停止中 | 点击「停止」按钮后(仅交互式集群有此状态) | 交互式集群 |
| 已停止 | 已停止运行,可重新启动(仅交互式集群有此状态) | 交互式集群 |
| 失败 | 创建或运行过程中出错;状态后会显示警示图标,hover 查看具体原因 | 全部 |
| 变配中 | 点击「编辑」修改 CU 配额后正在变更 | 全部 |
| 隔离中 | 按量计费账户欠费 | 全部 |
| 删除中 | 点击「删除」按钮后正在清理 | 全部 |
九、状态与可执行操作
不同状态下支持的操作:
| 状态 | 交互式集群 | 作业集群 / 平台集群 / 实时集群 |
| 创建中 | — | — |
| 待启动 | 启动、编辑、删除 | (不适用) |
| 启动中 | — | (不适用) |
| 运行中 | 停止、编辑 | 充值、编辑、删除 |
| 停止中 | — | (不适用) |
| 已停止 | 启动、编辑、删除 | (不适用) |
| 失败 | 重试、编辑、删除 | 重试、编辑、删除 |
| 变配中 | — | — |
| 隔离中 | 充值、删除 | 充值、删除 |
| 删除中 | — | — |
注意:说明:
注意:作业集群、平台集群、实时集群创建成功后即进入「运行中」状态,没有「待启动、启动中、已停止」过程。这是底层引擎的差异——这三类集群本身是按需即时拉起,由任务本身的运行状态决定资源占用。
十、相关文档
·创建计算资源
·计算资源网络设置
·计算资源用量监控