数据传输服务 修改同步配置

用户初次配置完同步任务,同步任务已经开始运行,后续如果需要增加同步对象、删除同步对象、修改同步参数配置,都可以通过本操作进行。修改同步配置后任务会重启,因为是在增量阶段重启,所以对同步数据无影响,仍会继续进行。

相关产品
数据传输服务 产品页,含版本规格、价格与购买入口。

一、操作场景

·增加对象:同步任务类型为 全量 + 增量同步 时,新增加一个同步对象,DTS 会将新增对象的存量数据和增量数据都同步到目标库;同步任务类型为仅增量同步时,新增加一个同步对象,DTS 只将新增对象的增量数据同步到目标库。

·删除对象:修改配置后,删除对象新增的数据不会再同步到目标库,修改操作前已经同步到目标库的数据仍保留,不会删除。

·修改主键冲突策略:仅对修改配置后新同步的数据应用新的主键冲突策略。

·修改 where 过滤条件:对已设置 where 条件过滤的同步对象,可直接编辑已有的过滤规则,同步对象无需重新选择。修改后的过滤规则对后续同步的数据生效。

二、适用范围

仅如下链路支持修改同步配置操作。

·MySQL/MariaDB/Percona/TDSQL-C MySQL/TDSQL MySQL > MySQL

·MySQL/MariaDB/Percona/TDSQL MySQL > MariaDB

·MySQL/MariaDB/TDSQL-C MySQL/TDSQL MySQL > TDSQL-C MySQL

·MySQL/MariaDB/Percona/TDSQL-C MySQL/TDSQL MySQL > Kafka

·TDSQL MySQL > TDSQL MySQL

·PostgreSQL > PostgreSQL

三、注意事项

1. 修改同步配置功能于2022年12月上线,仅支持对上线后新发起的任务进行修改,上线前已有的存量任务暂不支持修改。存量任务如需修改请 提交工单 对任务升级。

2. 同步任务需要满足在“同步增量”阶段,任务状态为“运行中/任务出错”,“目标库与源库时间延迟”小于1GB,同步对象非列级别,且同步对象未做列过滤,这五个条件,才支持修改同步配置。

3. 新增或者删除同步对象时,需要保证相互关联的对象一起选择,否则会导致同步任务失败。

4. 修改同步配置时,仅支持对新增加的库表对象进行重命名操作,历史选择的库表对象,此时不能再进行重命名。如果用户在修改同步配置时,同时又对历史对象进行重命名操作,系统会在校验阶段报错,需要用户自行改回之前的名称。

5. 如果用户初次修改了限速中的全量速率参数(全量导出线程数和 RPS,全量导入线程数和 RPS),后续进行修改同步对象操作时,会先跳转到限速参数调整界面,建议用户将全量速率参数尽量调大一些(根据源和目标库负载情况综合判断),避免新追加对象后,对新对象的全量同步耗时较久。

6. 对于已经同步的任务在进行修改表名映射的同步配置时,如果表含有序列,则新建的表和原表使用同一个序列,如果结果非预期内,请勿对已同步的表再次进行表名映射。

7. 对于已经同步的任务,进行修改同步配置时不支持选择全量数据同步。

四、操作步骤

1. 登录 DTS 控制台,在左侧导航选择数据同步页,选择指定的同步任务,在操作列单击修改同步配置。

任务需要在“同步增量”阶段,任务状态为“运行中/任务出错”,“目标库与源库数据差距”小于1GB,才支持修改配置。其他的“任务失败”等都不支持修改配置。

2. (可选)确认是否需要调整速率参数,确认后单击确定。

注意:说明:

注意:如果用户初次修改了限速中的全量速率参数(全量导出线程数和 RPS,全量导入线程数和 RPS),后续进行修改同步对象操作时,会先跳转到限速参数调整界面,建议用户将全量速率参数尽量调大一些(根据源和目标库负载情况综合判断),避免新追加对象后,对新对象的全量同步耗时较久。

3. 进入配置同步任务页,在设置同步选项和同步对象中,修改相关参数,如修改初始化类型、增加对象、删除对象、修改主键冲突策略、修改 Topic 策略等,然后单击下一步。

4. 在数据加工页面,修改过滤条件,然后单击保存并下一步。

5. 任务重新校验,校验通过后,单击启动任务。

6. 返回任务列表,任务状态显示为“运行中(动态修改配置)”,表示 DTS 正在对修改配置后的数据进行处理。

注意:说明:

当任务状态转换为“运行中”,表示本次修改配置的操作已完成,后续如有需要可以再次发起修改配置的操作。

五、查看修改同步配置记录

修改同步配置操作完成后,你可以在任务日志中查看修改记录,对比修改前后的配置差异。

六、操作步骤

1. 登录 DTS 控制台,在左侧导航选择数据同步页。

2. 选择指定的同步任务,单击任务 ID 进入任务详情页。

3. 选择任务日志页签,找到修改同步对象类型的操作记录。

4. 在对应记录的操作列,单击查看,即可查看修改同步配置的记录详情。

赞 (0)
上一篇 4天前
下一篇 4天前