一、概述
每个生成出来的单表任务结构与 创建单表同步任务 完全相同,可独立编辑、调试、发布、调度。批量任务的本质是「一次配置、批量生成 N 个单表任务」。
二、适用场景
·业务库批量入湖:MySQL 中 100 张业务表一次性同步到湖仓。
·多分库同源同步:多个分库(如 db_0 / db_1 / … / db_n)的同名表合并到目标表。
·多文件路径批量同步:FTP 上多个目录下的同结构文件批量落入 Volume。
三、前提条件
在开始本操作前,请确保满足以下条件:
·已开通 DataBuddy 服务并完成空间初始化。
·当前账号在目标 Workspace 中拥有 数据接入相关角色 (详见 成员与权限管理)。
·已创建用于数据接入的计算资源(平台集群型)。
·已创建并测试通过来源端数据源连接(详见 添加数据源连接)。
·目标 Catalog 已规划好;如目标 Schema 或表不存在,可由批量任务在创建过程中自动建表(需要 Catalog 创建权限)。
四、使用限制
| 限制项 | 说明 |
| 来源端类型 | 结构化数据源(与单表任务一致)+ 非结构化文件(FTP / SFTP / COS / S3 / Azure Blob / HDFS / Rest API) |
| 目标端类型 | 表(结构化场景)/ Volume(文件场景) |
| 目标端禁用部分配置 | 选择目标 Catalog 后,目标 Schema、Table(或 Volume / 路径 / 文件名称)由表映射逐项指定,目标端表单中显示「请在映射中设置」 |
| 单任务并发 | 通道设置作用于每个单表任务,相当于批量设置每个单表任务属性 |
六、步骤 1:进入任务创建页
1. 登录 DataBuddy 控制台。
2. 在顶部切换到目标地域和 Workspace。
3. 进入 数据接入 > 任务管理 ,点击 创建同步任务 。
4. 选择 同步方式 :离线批量同步 。
七、步骤 2:填写基础信息
| 参数 | 说明 | 是否必填 | 默认值 |
| 任务前缀 | 用于生成单表任务名称的前缀;最终单表任务名格式 ${任务前缀}_${目标表名称} | 是 | — |
| 接入方式 | 批量离线单表接入 | 是 | — |
| 责任人 | 默认应用到生成的所有单表任务 | 是 | 当前创建用户 |
| 任务描述 | 默认应用到生成的所有单表任务 | 否 | — |
九、结构化场景
| 参数 | 说明 | 是否必填 |
| 源连接 | 与单表任务一致 | 是 |
| 选择源端表 | 支持选择多张表;支持按库 / 表检索;展示已选库表结构;可逐项删除 | 是 |
| 切割键 | 默认应用到每个单表任务 | 否 |
| 筛选条件 | 默认应用到每个单表任务 | 否 |
| 高级设置 | 默认应用到每个单表任务 | 否 |
十、非结构化文件场景
| 参数 | 说明 |
| 源连接 | 与单表任务一致 |
| 读取方式 | 数据同步 / 文件同步(与单表一致) |
| 文件格式 | 将以指定的文件格式解析文件 |
| 解析配置 | 与单表一致;默认应用到每个单表任务 |
| 高级设置 | 默认应用到每个单表任务 |
十一、步骤 4:配置目标端
目标 Catalog 可选表类型或 Volume 类型,根据目标 Catalog 类型进行配置。
选择目标 Catalog 为表类型
| 参数 | 说明 | 是否必填 |
| Schema 匹配策略 | 选择同步目标端 Schema 匹配策略,可选与来源库一致 / 自定义,自定义可通过匹配规则来进行配置 | 是 |
| 表匹配策略 | 选择同步目标端表匹配策略,可选与来源表一致 / 自定义,自定义可通过匹配规则来进行配置 | 是 |
| 写入模式 | append / overwrite / upsert | 是 |
| 高级设置 | 默认应用到每个单表任务 | 否 |
选择目标 Catalog 为 volume 类型
| 参数 | 说明 | 是否必填 |
| 写入模式 | append / overwrite / upsert | 是 |
| 文件格式 | 将以指定的文件格式写入文件 | 是 |
| 格式设置 | 写入文件将以设置的格式组装文件 | 是 |
| 标记完成文件 | 当文件写入完成后生成.ok 文件 | 是 |
| CTL 文件 | 当文件写入完成后生成.ctl 文件 | 视文件类型 |
| 高级设置 | 默认应用到每个单表任务 | 否 |
十二、步骤 5:配置表映射
点击「刷新源表和目标表映射」可以刷新源表和目标表映射关系。稍后将以该映射关系生成单表任务。
表映射区根据目标 Catalog 类型动态展示。
十三、目标端为表类型 Catalog
| 字段 | 说明 |
| 任务名称 / 源库 / 源表 | 不可编辑,跟随来源端设置 |
| 目标 catalog | 在 Catalog 下指定 |
| 目标 Schema | 根据目标端设置的 schema 匹配规则,显示目标 Schema 名称,如果该 Schema 不存在,显示红色"!"提示, 可以选择换一个或创建一个 |
| 目标 Table | 根据目标端设置的表匹配规则,显示目标表名词,如果该表不存在,显示红色"!"提示, 可以选择换一个或创建一个 |
| 字段映射规则 | 可选同名 / 同行映射 |
| 计算资源 | 默认任务统一资源 |
十四、目标端为 Volume 类型 Catalog
| 字段 | 说明 |
| 来源 | 可以通过点击「添加一行」生成一条单表任务 |
| 目标 Schema | 在 Catalog 下指定, 可以选择换一个或创建一个 |
| 目标 Volume | 在 Schema 下指定, 可以选择换一个或创建一个 |
| Volume 路径 | Volume 内子路径 |
| 文件名称 | 路径端点为文件时自动默认展示该文件名变量 |
十五、表映射操作
| 操作 | 说明 |
| 批量操作 | 配置字段映射规则、配置计算资源、移除选中行 |
| 仅展示未配置 | 过滤出尚未配置目标的行 |
| 批量配置目标 schema | 批量配置目标 schema |
| 批量配置目标 volume | 批量配置目标 volume |
| 列表操作 – 编辑 | 弹出单表任务编辑(详见 单表覆写 ) |
| 列表操作 – 移除 | 移除该映射条目 |
十六、步骤 6:单表覆写
设置同单表任务的设置,详见 创建单表任务,部分设置不支持修改。
十七、步骤 7:配置运行设置
详见 创建单表同步任务 – 步骤 4。
十八、步骤 8:保存并创建单表任务
点击 开始批量创建 。系统返回任务列表页,在页面右下角弹出进度弹层 :
| 字段 | 说明 |
| 批量任务状态 | 创建中 / 已完成 / 正在终止 / 已终止 |
| 批量任务名称 | 显示批量任务前缀 |
| 进度指标 | 成功数 / 异常数 / 总任务数 |
| 删除 | 删除批量任务,则可删除批量任务,但是已生成的单表任务不受影响 |
点击「任务列表」区域可查看具体的单表任务创建详情:
| 字段 | 说明 |
| 任务名称 | 如果任务创建成功,则显示单表任务名;否则显示「-」 |
| 来源 / 目标 | 来源库表 / 目标库表 |
| 状态 | 全部 tab 下展示;按 全部 / 成功 / 失败 切换 |
十九、验证结果
批量任务执行完成后,你可以通过以下方式确认:
1. 进度弹层显示 已完成 且 成功数 = 总任务数。
2. 进入 数据接入 > 任务管理 任务列表,按任务前缀搜索,看到生成的多个单表任务。
3. 任意打开一个生成的单表任务,配置项与批量任务设置一致;可独立调试、发布、调度。
21、Q:批量任务创建后,单表任务是否仍然可以独立编辑?
A:可以。生成的单表任务与手动创建的单表任务地位相同,可独立编辑、调试、发布、删除。修改单表任务不会影响批量任务记录。
22、Q:单表覆写后,再次回到批量任务修改全局设置会覆盖吗?
A:批量任务保存后即生效,已生成的单表任务不会被批量任务的后续配置覆盖。如需统一更新,需对每个单表任务单独编辑。
23、Q:批量任务支持哪些数据源?
A:与单表任务一致。结构化数据源支持表批量同步;非结构化数据源支持多路径批量同步(参见 使用限制)。
24、Q:批量任务的字段映射如何处理多张异构表?
A:批量任务统一不在批量层级配置字段映射,每个单表任务独立配置。如表结构差异较大,建议拆分为多个批量任务,分别处理同结构表组。
25、相关文档
·表到表同步
·表到 Volume 同步
·文件到表同步
·文件到 Volume 同步
·离线同步任务运维监控