弹性 MapReduce 数据备份与恢复

腾讯云 EMR on CVM 提供异地数据备份与恢复能力,支持将符合开源协议架构的 Hadoop 集群(存算分离与存算一体)中的数据,按周期性策略备份至跨地域的腾讯云 COS。该服务提供完整的控制台界面与 API 接口,用户可在备份策略中自定义备份范围,并借助存储 TTL、数据加密、文件锁等机制,满足不同程度的审计需求。同时,服务支持全量备份、增量备份与按需备份等多种业务场景,并可将备份文件恢复至任意历史版本。

相关产品
弹性 MapReduce 产品页,含版本规格、价格与购买入口。

一、功能介绍

注意:1. 仅支持 EMR on CVM 产品形态下的 Hadoop 集群类型。

注意:2. 暂不支持 EMR on TKE 及全托管集群作为目标集群。

注意:3. 暂不支持跨账号 COS 数据备份,仅支持同账号同地域内 COS 数据备份。

注意:4. Kerberos集群不支持备份恢复,也不支持作为备份数据源。

注意:5. 本功能通过白名单机制开放,覆盖新建集群与存量集群两类场景。

二、前提条件

1. 集群为 EMR on CVM 产品形态下的 Hadoop 集群。

2. 备份数据会存储到多模态数据湖 TCLake 中,因此需在对应地域下开通多模态智能数据湖服务。

3. 已具备 EMR 服务相关角色EMR_QCSLinkedRoleInApplicationDataAccess,用于访问对象存储(COS)资源和多模态智能数据湖 TCLake。

4. 已在目标地域准备好用于存储备份数据的 COS 存储桶;若备份路径数据存储在 COS,需确保集群已具备 COS 访问权限。

5. 若使用外部数据源(HDFS),需提前确认外部集群的 NameService ID、NameNode 节点 IP 及端口信息。

三、系统术语解释

1. 资源占用: 备份与恢复任务会占用集群大量 CPU、内存及网络带宽,可能导致业务响应延迟,建议在业务低峰期执行。

2. 跨地域传输: 跨地域备份/恢复依赖专线/公网传输,受网络带宽及 COS 限流影响,执行时间可能超出预期,请根据实际数据量合理规划执行窗口。

3. 配置变更: 所有策略配置修改仅对新生成的备份任务生效,历史已完成的备份数据不受影响。

4. TTL 与文件锁: 备份保留策略和文件锁天数仅支持延长(调大),不支持缩短(调小),以保障已备份数据的合规留存;文件锁有效期须小于等于备份保留策略时长。

5. 数据删除: 删除备份任务后,历史备份数据将一并删除且无法恢复,请谨慎操作。

6. 外部数据源: 修改外部数据源的存储介质(如 HDFS 切换为 COS)或数据源信息(如更换 COS 桶)可能导致关联备份任务执行失败;删除数据源前需先解绑所有关联的备份策略/任务。

四、操作步骤

数据备份与恢复模块入口位于 EMR 控制台左侧导航栏备份管理,包含数据备份恢复和外部数据源管理两个子菜单。

五、步骤一:注册外部数据源(可选)

注意:说明:

注意:如需备份自建集群数据,请先完成外部数据源注册;若仅备份当前集群数据,可跳过此步骤。

1. 在左侧导航栏选择备份管理 > 外部数据源管理。

2. 单击新建数据源集群,在弹窗中填写以下信息:

基础信息

字段名 说明 规则
名称 自定义数据源名称 长度 1–128 个字符,支持字母、数字、-、_;创建后不可编辑
数据源 存储介质类型 HDFS 或 COS,二选一;创建后不可编辑

选择 HDFS 时,还需填写:

字段名 说明 示例
NameService ID dfs.nameservices 配置值 HDFS1024731
NameNodes dfs.ha.namenodes 配置值 nn1,nn2
NameNode 节点 IP 各节点 IP,多个以英文逗号分隔 172.16.16.61,172.16.16.101
NameNode 端口 各节点 RPC 通信端口,多个以逗号分隔(1–65535) 4007,4007

选择 COS 时,还需填写:

字段名 说明
COS 存储桶 选择数据实际存储的 COS 桶(必填)

3. (可选)单击测试连通,验证外部集群连接状态。

4. 单击确定,完成外部数据源注册,列表自动刷新。

注意:说明:

六、步骤二:创建备份策略

1. 在左侧导航栏选择备份管理 > 数据备份恢复,进入备份策略列表页。

2. 单击创建备份策略,在弹窗中按以下说明配置参数:

七、基础信息

字段名 说明 规则
策略名称 自定义策略名称 2–64 个字符,支持字母、数字、_;创建后不可编辑
数据源 备份数据来源 当前集群(默认)或外部数据源;创建后不可编辑
外部数据源 关联已注册的外部集群 数据源选择"外部数据源"时可选
备份范围 备份文件路径 必填;多个路径以英文逗号或换行分隔;创建后不可编辑

八、备份策略

字段名 说明 可选值/默认值
备份用户 执行备份任务的系统用户 单选,默认 Hadoop 用户;范围为用户管理中的全量用户
执行方式 任务触发方式 立即执行(默认)/ 定期执行
执行周期 定时执行的周期(执行方式为"定期执行"时显示) 每天 / 每周(多选)/ 每月(时间段)
开始执行时间 任务首次执行时间 时间选择器,精度到分钟,默认 00:00
备份保留策略 备份数据的保留时长 永久保存(默认)/ 指定保留天数(1–36500 天)
文件锁 为备份数据加锁,锁定期间数据不可改写/删除 默认关闭;开启后设置锁定天数,需 ≤ 备份保留策略时长
加密方式 COS 服务端加密类型 不启用(默认)/启用( 默认AES256)

九、性能与资源控制(可选)

字段名 说明 默认值
带宽上限 每个 Map Task 的带宽上限,避免占用过多集群带宽 50 MB/s
并发 Map 数 并发任务数,建议设置为集群可用 Map 槽位的 50%–70% 5
列表线程数 构建文件列表的线程数,扫描大目录时可适当调高(最大 40) 5
跳过 CRC 校验 关闭可确保数据一致性,测试场景可临时开启以提升速度 关闭

1. 勾选风险告知:我已了解上述风险提示,确认创建。

2. 单击确定,备份策略创建成功。若选择"立即执行",策略创建后将立即发起备份任务。

注意:说明:

十、步骤三:查看与管理备份任务

1. 在备份策略列表页,单击备份任务标签,切换至备份任务列表。

2. 列表展示以下核心字段:

字段名 说明
备份策略 ID 关联的备份策略唯一标识
数据源 当前集群 / 外部数据源名称,支持点击跳转至外部数据源管理页
作业 ID 后台执行作业 ID,支持点击跳转查看作业详情
备份文件锁 开启/关闭
备份文件锁到期时间 文件锁的到期时间
备份日期 任务实际执行时间
备份到期日 根据保留策略计算的到期时间
状态 备份中 / 完成 / 失败 / 删除中
操作 查看详情 / 恢复 / 编辑 / 删除(视状态而定)

操作列权限说明:

任务状态 可执行操作
备份中 / 删除中(过程态) 不支持任何操作
完成 查看详情、恢复、编辑、删除
失败 查看详情、删除

十一、查看任务详情

单击操作列查看详情,弹窗展示备份文件路径与版本信息,支持通过文本内容或版本号进行模糊搜索。

十二、编辑任务

单击操作列编辑,可调整以下字段(仅支持调大,不支持缩小):

字段名 说明
备份保留策略 永久保存 / 指定保留天数(仅可调大)
文件锁天数 锁定天数(仅可调大)

十三、删除任务

单击操作列删除,在弹窗中手动输入确认文本"已知晓删除该备份执行记录后,历史备份数据也会一并删除,并确认删除",验证通过后执行删除操作(不可恢复)。

十四、步骤四:数据恢复

1. 在备份任务列表,找到状态为完成的目标备份任务,单击操作列恢复。

2. 在恢复弹窗中, 默认选项,恢复该备份任务下的全部数据;可按照具体恢复范围进行精细化选择。

3. 配置恢复参数:

字段名 说明
目标集群 数据恢复的目标集群,默认为源集群(单选)
备份用户 执行恢复任务的用户,默认为原备份用户(单选)
恢复路径 数据恢复的目标路径(输入框,填写唯一路径)

4. 勾选风险告知,单击确认恢复,弹窗关闭并自动跳转至恢复任务列表页,可实时查看恢复任务状态。

十五、步骤五:查看恢复任务

1. 在左侧导航栏选择备份管理 > 数据备份恢复,单击恢复任务标签。

2. 列表展示以下核心字段:

字段名 说明
恢复 ID 恢复任务唯一标识
备份名称/ID 关联的备份任务名称/ID,支持点击跳转至备份策略列表筛选展示
目标集群 数据恢复的目标集群
作业 ID 后台执行作业 ID
恢复路径 本次数据恢复的目标路径
恢复范围 本次恢复涉及的数据范围
版本号 本次恢复版本
恢复日期 任务执行时间
状态 成功 / 失败 / 未知
操作人 发起恢复操作的用户
操作 重试(仅失败状态)/ 查看详情

3. 恢复失败时,可单击重试重新发起恢复任务。

4. 单击查看详情,弹窗展示恢复的核心信息,结构与备份详情一致。

十六、版本管理说明

每次备份任务执行时,系统会为每个待备份表生成唯一版本号,并按"表 + 版本号"组织底层 COS 存储结构。

功能 说明
版本查看 在备份任务详情弹窗中查看版本号、备份时间、TTL 剩余时间等信息
版本 TTL 支持在备份策略中设置保留天数;到期后系统自动标记清理,恢复前校验版本是否过期,过期则拒绝恢复
版本调整 版本 TTL 仅支持延长,不支持缩短
版本删除 删除版本后先移至 trash,再由后台异步清理,操作不可恢复

十八、文件锁

·备份策略开启文件锁后,所有备份分区数据在锁定期内不可改写/删除;

·文件锁到期时间可延长,不可缩短;

·在备份任务详情中可查看锁定状态及到期时间。

十九、服务端加密

备份数据支持以下 COS 服务端加密方式,读取时自动解密,对用户无感知:

加密方式 说明
不启用 默认,不加密
AES256 标准 AES-256 服务端加密

20、操作日志

所有备份、恢复、外部数据源增删改查等操作均记录在操作日志中,便于审计和问题排查。

1. 在 EMR 控制台,单击目标集群 ID,进入集群详情页。

2. 在左侧导航栏选择操作日志,筛选操作对象为"集群",可查看以下相关操作记录:

操作类型 安全级别
创建备份策略 一般
编辑备份策略 一般
删除备份策略 危险
新建外部数据源 一般
编辑外部数据源 一般
删除外部数据源 危险
执行恢复 高危
删除备份任务 危险

22、创建备份策略时提示"权限不足",如何处理?

请检查当前账号是否已绑定 EMR_QCSLinkedRoleInApplicationDataAccess服务角色。可在集群详情页查看集群 COS 服务角色,按照授权引导完成角色绑定后重试。

23、外部数据源测试连通失败,如何排查?

请确认以下几点:

1. 外部集群的 NameNode 节点 IP 和端口是否填写正确。

2. EMR 集群与外部集群之间的网络是否互通(如专线/VPN)。

3. 若数据源为 COS,确认集群已绑定具有 COS 访问权限的服务角色。

24、备份保留策略天数可以缩短吗?

不支持缩短。备份保留策略和文件锁天数仅支持延长(调大),以保障已备份数据的合规留存。

25、恢复任务失败如何处理?

在恢复任务列表中,找到失败任务,单击操作列的重试重新发起恢复;若持续失败,可单击查看详情查看错误信息,并根据提示排查网络连接、集群状态或存储权限问题。

26、删除外部数据源后,关联的备份策略会受影响吗?

是的,删除外部数据源后,关联的备份策略/任务将执行失败。建议先在备份策略列表中解绑或删除相关备份策略,再执行数据源删除操作。

赞 (0)
上一篇 4天前
下一篇 4天前