一、功能介绍
注意:1. 仅支持 EMR on CVM 产品形态下的 Hadoop 集群类型。
注意:2. 暂不支持 EMR on TKE 及全托管集群作为目标集群。
注意:3. 暂不支持跨账号 COS 数据备份,仅支持同账号同地域内 COS 数据备份。
注意:4. Kerberos集群不支持备份恢复,也不支持作为备份数据源。
注意:5. 本功能通过白名单机制开放,覆盖新建集群与存量集群两类场景。
二、前提条件
1. 集群为 EMR on CVM 产品形态下的 Hadoop 集群。
2. 备份数据会存储到多模态数据湖 TCLake 中,因此需在对应地域下开通多模态智能数据湖服务。
3. 已具备 EMR 服务相关角色EMR_QCSLinkedRoleInApplicationDataAccess,用于访问对象存储(COS)资源和多模态智能数据湖 TCLake。
4. 已在目标地域准备好用于存储备份数据的 COS 存储桶;若备份路径数据存储在 COS,需确保集群已具备 COS 访问权限。
5. 若使用外部数据源(HDFS),需提前确认外部集群的 NameService ID、NameNode 节点 IP 及端口信息。
三、系统术语解释
1. 资源占用: 备份与恢复任务会占用集群大量 CPU、内存及网络带宽,可能导致业务响应延迟,建议在业务低峰期执行。
2. 跨地域传输: 跨地域备份/恢复依赖专线/公网传输,受网络带宽及 COS 限流影响,执行时间可能超出预期,请根据实际数据量合理规划执行窗口。
3. 配置变更: 所有策略配置修改仅对新生成的备份任务生效,历史已完成的备份数据不受影响。
4. TTL 与文件锁: 备份保留策略和文件锁天数仅支持延长(调大),不支持缩短(调小),以保障已备份数据的合规留存;文件锁有效期须小于等于备份保留策略时长。
5. 数据删除: 删除备份任务后,历史备份数据将一并删除且无法恢复,请谨慎操作。
6. 外部数据源: 修改外部数据源的存储介质(如 HDFS 切换为 COS)或数据源信息(如更换 COS 桶)可能导致关联备份任务执行失败;删除数据源前需先解绑所有关联的备份策略/任务。
四、操作步骤
数据备份与恢复模块入口位于 EMR 控制台左侧导航栏备份管理,包含数据备份恢复和外部数据源管理两个子菜单。
五、步骤一:注册外部数据源(可选)
注意:说明:
注意:如需备份自建集群数据,请先完成外部数据源注册;若仅备份当前集群数据,可跳过此步骤。
1. 在左侧导航栏选择备份管理 > 外部数据源管理。
2. 单击新建数据源集群,在弹窗中填写以下信息:
基础信息
| 字段名 | 说明 | 规则 |
| 名称 | 自定义数据源名称 | 长度 1–128 个字符,支持字母、数字、-、_;创建后不可编辑 |
| 数据源 | 存储介质类型 | HDFS 或 COS,二选一;创建后不可编辑 |
选择 HDFS 时,还需填写:
| 字段名 | 说明 | 示例 |
| NameService ID | dfs.nameservices 配置值 | HDFS1024731 |
| NameNodes | dfs.ha.namenodes 配置值 | nn1,nn2 |
| NameNode 节点 IP | 各节点 IP,多个以英文逗号分隔 | 172.16.16.61,172.16.16.101 |
| NameNode 端口 | 各节点 RPC 通信端口,多个以逗号分隔(1–65535) | 4007,4007 |
选择 COS 时,还需填写:
| 字段名 | 说明 |
| COS 存储桶 | 选择数据实际存储的 COS 桶(必填) |
3. (可选)单击测试连通,验证外部集群连接状态。
4. 单击确定,完成外部数据源注册,列表自动刷新。
注意:说明:
六、步骤二:创建备份策略
1. 在左侧导航栏选择备份管理 > 数据备份恢复,进入备份策略列表页。
2. 单击创建备份策略,在弹窗中按以下说明配置参数:
七、基础信息
| 字段名 | 说明 | 规则 |
| 策略名称 | 自定义策略名称 | 2–64 个字符,支持字母、数字、_;创建后不可编辑 |
| 数据源 | 备份数据来源 | 当前集群(默认)或外部数据源;创建后不可编辑 |
| 外部数据源 | 关联已注册的外部集群 | 数据源选择"外部数据源"时可选 |
| 备份范围 | 备份文件路径 | 必填;多个路径以英文逗号或换行分隔;创建后不可编辑 |
八、备份策略
| 字段名 | 说明 | 可选值/默认值 |
| 备份用户 | 执行备份任务的系统用户 | 单选,默认 Hadoop 用户;范围为用户管理中的全量用户 |
| 执行方式 | 任务触发方式 | 立即执行(默认)/ 定期执行 |
| 执行周期 | 定时执行的周期(执行方式为"定期执行"时显示) | 每天 / 每周(多选)/ 每月(时间段) |
| 开始执行时间 | 任务首次执行时间 | 时间选择器,精度到分钟,默认 00:00 |
| 备份保留策略 | 备份数据的保留时长 | 永久保存(默认)/ 指定保留天数(1–36500 天) |
| 文件锁 | 为备份数据加锁,锁定期间数据不可改写/删除 | 默认关闭;开启后设置锁定天数,需 ≤ 备份保留策略时长 |
| 加密方式 | COS 服务端加密类型 | 不启用(默认)/启用( 默认AES256) |
九、性能与资源控制(可选)
| 字段名 | 说明 | 默认值 |
| 带宽上限 | 每个 Map Task 的带宽上限,避免占用过多集群带宽 | 50 MB/s |
| 并发 Map 数 | 并发任务数,建议设置为集群可用 Map 槽位的 50%–70% | 5 |
| 列表线程数 | 构建文件列表的线程数,扫描大目录时可适当调高(最大 40) | 5 |
| 跳过 CRC 校验 | 关闭可确保数据一致性,测试场景可临时开启以提升速度 | 关闭 |
1. 勾选风险告知:我已了解上述风险提示,确认创建。
2. 单击确定,备份策略创建成功。若选择"立即执行",策略创建后将立即发起备份任务。
注意:说明:
十、步骤三:查看与管理备份任务
1. 在备份策略列表页,单击备份任务标签,切换至备份任务列表。
2. 列表展示以下核心字段:
| 字段名 | 说明 |
| 备份策略 ID | 关联的备份策略唯一标识 |
| 数据源 | 当前集群 / 外部数据源名称,支持点击跳转至外部数据源管理页 |
| 作业 ID | 后台执行作业 ID,支持点击跳转查看作业详情 |
| 备份文件锁 | 开启/关闭 |
| 备份文件锁到期时间 | 文件锁的到期时间 |
| 备份日期 | 任务实际执行时间 |
| 备份到期日 | 根据保留策略计算的到期时间 |
| 状态 | 备份中 / 完成 / 失败 / 删除中 |
| 操作 | 查看详情 / 恢复 / 编辑 / 删除(视状态而定) |
操作列权限说明:
| 任务状态 | 可执行操作 |
| 备份中 / 删除中(过程态) | 不支持任何操作 |
| 完成 | 查看详情、恢复、编辑、删除 |
| 失败 | 查看详情、删除 |
十一、查看任务详情
单击操作列查看详情,弹窗展示备份文件路径与版本信息,支持通过文本内容或版本号进行模糊搜索。
十二、编辑任务
单击操作列编辑,可调整以下字段(仅支持调大,不支持缩小):
| 字段名 | 说明 |
| 备份保留策略 | 永久保存 / 指定保留天数(仅可调大) |
| 文件锁天数 | 锁定天数(仅可调大) |
十三、删除任务
单击操作列删除,在弹窗中手动输入确认文本"已知晓删除该备份执行记录后,历史备份数据也会一并删除,并确认删除",验证通过后执行删除操作(不可恢复)。
十四、步骤四:数据恢复
1. 在备份任务列表,找到状态为完成的目标备份任务,单击操作列恢复。
2. 在恢复弹窗中, 默认选项,恢复该备份任务下的全部数据;可按照具体恢复范围进行精细化选择。
3. 配置恢复参数:
| 字段名 | 说明 |
| 目标集群 | 数据恢复的目标集群,默认为源集群(单选) |
| 备份用户 | 执行恢复任务的用户,默认为原备份用户(单选) |
| 恢复路径 | 数据恢复的目标路径(输入框,填写唯一路径) |
4. 勾选风险告知,单击确认恢复,弹窗关闭并自动跳转至恢复任务列表页,可实时查看恢复任务状态。
十五、步骤五:查看恢复任务
1. 在左侧导航栏选择备份管理 > 数据备份恢复,单击恢复任务标签。
2. 列表展示以下核心字段:
| 字段名 | 说明 |
| 恢复 ID | 恢复任务唯一标识 |
| 备份名称/ID | 关联的备份任务名称/ID,支持点击跳转至备份策略列表筛选展示 |
| 目标集群 | 数据恢复的目标集群 |
| 作业 ID | 后台执行作业 ID |
| 恢复路径 | 本次数据恢复的目标路径 |
| 恢复范围 | 本次恢复涉及的数据范围 |
| 版本号 | 本次恢复版本 |
| 恢复日期 | 任务执行时间 |
| 状态 | 成功 / 失败 / 未知 |
| 操作人 | 发起恢复操作的用户 |
| 操作 | 重试(仅失败状态)/ 查看详情 |
3. 恢复失败时,可单击重试重新发起恢复任务。
4. 单击查看详情,弹窗展示恢复的核心信息,结构与备份详情一致。
十六、版本管理说明
每次备份任务执行时,系统会为每个待备份表生成唯一版本号,并按"表 + 版本号"组织底层 COS 存储结构。
| 功能 | 说明 |
| 版本查看 | 在备份任务详情弹窗中查看版本号、备份时间、TTL 剩余时间等信息 |
| 版本 TTL | 支持在备份策略中设置保留天数;到期后系统自动标记清理,恢复前校验版本是否过期,过期则拒绝恢复 |
| 版本调整 | 版本 TTL 仅支持延长,不支持缩短 |
| 版本删除 | 删除版本后先移至 trash,再由后台异步清理,操作不可恢复 |
十八、文件锁
·备份策略开启文件锁后,所有备份分区数据在锁定期内不可改写/删除;
·文件锁到期时间可延长,不可缩短;
·在备份任务详情中可查看锁定状态及到期时间。
十九、服务端加密
备份数据支持以下 COS 服务端加密方式,读取时自动解密,对用户无感知:
| 加密方式 | 说明 |
| 不启用 | 默认,不加密 |
| AES256 | 标准 AES-256 服务端加密 |
20、操作日志
所有备份、恢复、外部数据源增删改查等操作均记录在操作日志中,便于审计和问题排查。
1. 在 EMR 控制台,单击目标集群 ID,进入集群详情页。
2. 在左侧导航栏选择操作日志,筛选操作对象为"集群",可查看以下相关操作记录:
| 操作类型 | 安全级别 |
| 创建备份策略 | 一般 |
| 编辑备份策略 | 一般 |
| 删除备份策略 | 危险 |
| 新建外部数据源 | 一般 |
| 编辑外部数据源 | 一般 |
| 删除外部数据源 | 危险 |
| 执行恢复 | 高危 |
| 删除备份任务 | 危险 |
22、创建备份策略时提示"权限不足",如何处理?
请检查当前账号是否已绑定 EMR_QCSLinkedRoleInApplicationDataAccess服务角色。可在集群详情页查看集群 COS 服务角色,按照授权引导完成角色绑定后重试。
23、外部数据源测试连通失败,如何排查?
请确认以下几点:
1. 外部集群的 NameNode 节点 IP 和端口是否填写正确。
2. EMR 集群与外部集群之间的网络是否互通(如专线/VPN)。
3. 若数据源为 COS,确认集群已绑定具有 COS 访问权限的服务角色。
24、备份保留策略天数可以缩短吗?
不支持缩短。备份保留策略和文件锁天数仅支持延长(调大),以保障已备份数据的合规留存。
25、恢复任务失败如何处理?
在恢复任务列表中,找到失败任务,单击操作列的重试重新发起恢复;若持续失败,可单击查看详情查看错误信息,并根据提示排查网络连接、集群状态或存储权限问题。
26、删除外部数据源后,关联的备份策略会受影响吗?
是的,删除外部数据源后,关联的备份策略/任务将执行失败。建议先在备份策略列表中解绑或删除相关备份策略,再执行数据源删除操作。