二、前提条件
在开始本操作前,请确保满足以下条件:
·已开通 DataBuddy 服务并完成空间初始化。
·当前账号在目标 Workspace 中拥有 数据接入相关角色 (详见 成员与权限管理)。
·已创建用于数据接入的计算资源(数据接入型)。
·已创建并测试通过来源端数据源连接(详见 添加数据源连接)。
·目标端 Catalog 已规划好;如目标 Schema 或表不存在,可通过本任务的「一键建表」自动创建(需要 Catalog 创建权限)。
三、使用限制
| 限制项 | 说明 |
| 计算资源 | 仅支持「平台集群」计算资源 |
| 来源端类型 | 见 支持的数据源与读写能力 |
| 目标端类型 | DataBuddy 数据湖仓 Catalog 下的表(Iceberg 原生表) |
| 切割键 | 仅整型字段;建议主键或索引列 |
| 并发数 | > 1 时必须配置切割键 |
五、步骤 1:进入任务创建页
1. 登录 DataBuddy 控制台。
2. 进入 数据接入 > 任务管理 ,点击 创建同步任务 。
六、步骤 2:填写基础信息
填写任务名称、同步方式、责任人、描述(详见 创建单表同步任务 通用配置)。点击 下一步 。
七、步骤 3:配置来源端
| 参数 | 说明 | 是否必填 |
| 数据源类型 | 选择来源数据库类型,如 MySQL | 是 |
| 数据源连接 | 选择已注册的数据源;下拉列表内可点击 新增数据连接 跳转创建 | 是 |
| 来源端数据库 | 支持 选择数据库 与 输入数据库名称 两种模式;可插入参数变量 | 是 |
| 来源端数据表 | 支持 选择数据表 与 输入数据表名称 两种模式;可插入参数变量 | 是 |
| 添加分库分表 | 同源类型可添加多条数据源 + 库表 | 否 |
| 切割键 | 整型字段;并发 > 1 时必填,否则保存时将提示补全 | 视并发数 |
| 筛选条件 | 标准 WHERE 条件(无需 where 关键字);支持时间参数与调度参数 | 否 |
| 高级设置 | 数据源专属参数(详见对应数据源章节) | 否 |
注意:数据源连通性测试 :选择数据源连接后,展示「待测试」,可点击 测试 发起连通性测试。详见 数据源连通性测试。
八、库表选择模式
| 模式 | 行为 | 适用场景 |
| 选择数据库 / 数据表 | 字面量精确选择 | 同步固定的库表 |
| 输入数据库名称 / 数据表名称 | 可通过规则表达式匹配,也可用参数变量 | 多分表(如 table_[0-99])或者按照读取当日分区数据进行同步的场景 |
九、分库分表配置
点击 添加分库分表 可叠加多条同源类型的数据源,每条独立配置:数据源连接、来源端数据库、来源端数据表。已添加的源支持删除。
要求:所有源的表 Schema 一致。
十、步骤 4:配置目标端
| 参数 | 说明 | 是否必填 | 默认值 |
| 目标端 Catalog | 选择目标 Catalog | 是 | – |
| 目标端 Schema | 在所选 Catalog 下指定 Schema | 是 | — |
| 目标端 Table | 指定目标表;不存在时点击 创建目标表 来即时创建目标表 | 是 | — |
| 写入模式 | 详见 写入模式 | 是 | append |
| 高级设置 | 目标端扩展参数 | 否 | — |
十一、创建目标表
点击下拉列表,点击 创建目标表 进入建表弹窗:
1. 选择用于执行建表语句的计算资源(交互式集群类型);资源未启动时提交后会自动启动。
2. 平台基于来源端 Schema 生成默认建表 SQL,允许在编辑器中调整。
3. 点击 提交 :
·成功 → 弹窗关闭,提示「目标表 ${目标表名称} 创建成功」。
·失败 → 弹窗保留,提示具体失败原因,可调整 SQL 后重试。
注意:
·部分数据源不支持自动生成建表 DDL,可手动写入建表 SQL。
十二、写入模式
| 模式 | 说明 |
| append | 插入模式;主键冲突时写入失败 |
| overwrite | 替换模式;主键冲突时先删除原行再插入新行 |
| upsert | 更新模式;主键冲突时更新指定字段 |
十三、步骤 5:配置字段映射
字段映射默认按同名、同行规则填充,支持以下操作:
| 操作 | 说明 |
| 同名映射 | 来源 / 目标同名字段自动对齐 |
| 同行映射 | 按行号顺序对齐 |
| 清除 | 清空所有映射 |
| 置顶已映射 | 已映射字段排在前面 |
| 移动 | 拖动字段前面的移动图标,可以移动行 |
| 映射开关 | 点击「映射」列的箭头开关,可以切换该行的映射关系 |
字段操作:
| 操作 | 说明 |
| 添加字段 | 手动新增一行字段映射 |
| 删除字段 | 手动删除一行字段映射 |
| 字段类型调整 | 调整字段类型,类型支持:字段、常量、函数、参数;当选择字段,则可以选择来源端字段类型如「string」 |
各种字段类型的设置:
·字段:可选择一个来源端字段类型,如「string」、「int」等;
·常量:可输入常量值作为字段名,如「1」、「true」等;
·函数:可输入数据库函数作为字段名,如「concat(first_name,last_name)」、「sum(amount)」等;
·参数:可输入参数变量作为字段名,如「${plan_date}」,参数的定义可在 创建单表同步任务 》任务参数 中设置;
十四、步骤 6:配置运行设置
详见:创建单表同步任务 》运行设置。
十五、步骤 7:调试、保存、发布
详见:创建单表同步任务 》调试、保存、发布。
十七、Q:保存任务时提示「需要先设置切割键」?
A:并发数 > 1 时必须配置切割键。请在 来源 & 目标 步骤补充切割键,或将并发数调整为 1。
十八、Q:建表失败,提示权限不足?
A:当前账号没有目标 Catalog 的建表权限。请联系空间管理员或 Catalog 所有者授予 可管理 或建表所需权限(详见 成员与权限管理)。
十九、Q:分库分表场景如何确保所有源连接都通过连通性测试?
A:选择多个数据源时,需要分别测试每个连接。
20、Q:调试运行会真实写入数据吗?
A:是 。调试与发布运行使用相同的搬运链路,会按当前配置真实写入目标端。请在调试前确认目标表与写入模式,避免覆盖业务数据。
21、Q:任务编辑后多久生效?
A:保存只生成新版本,不影响调度。需要点击 发布 将当前版本设为发布版本,下一次工作流调度才会使用新版本。
22、相关文档
·表到 Volume 同步
·文件到表同步
·批量创建单表同步任务
·离线同步任务运维监控
·工作流概述