数据传输服务
-
数据传输服务 同步高级对象
DTS 支持同步的高级对象有函数、存储过程。高级对象的同步是一次性动作,仅支持同步在任务启动前源库中已有的高级对象,在任务启动后,源库新增的高级对象不会同步到目标库中。
-
数据传输服务 JSON Demo 说明
Demo 中我们采用 JSON 进行序列化,各语言 Demo 中均附带有 Record 定义文件。
Java Demo 中的定义文件路径为: consumerDemo-json-java\\src\\main\\java\\json\\FlatRecord.java。 -
数据传输服务 连通性测试不通过
这篇排查DTS连通性测试失败问题,原因包括网络ACL/安全组限制、防火墙、数据库IP规则、端口未放通、账号授权及密码错误,并给出对应处理步骤。 网络放通:需在ACL、安全组、防火墙及数据库IP规则中放通DTS服务IP。 账号授权:检查账号授权范围,避免仅限指定IP访问,需重新授权为全IP可访问。 端口与接入类型:确认默认端口已放通,且连通性校验通过后勿切换接入类型。
-
数据传输服务 同步 Online DDL 临时表
使用 gh-ost、 pt-online-schema-change(下面简称 pt-osc )等工具对源库中的表做 Online DDL,需要将 Online DDL 变更产生的临时表同步到目标库。
DTS 支持在选择同步对象时,提前关联对象表的临时表名,在后续源库产生临时表时一并进行同步。 -
数据传输服务 任务状态扭转说明
对于状态为任务错误、任务失败,并且状态持续14天的任务,因为任务本身已无法再进行重连,系统将自动将这些任务状态扭转为结束的状态。
-
数据传输服务 校验项结果不通过或者出现警告
这篇说说腾讯云DTS任务校验失败或警告的处理方法,失败需修复后重试,警告可忽略或修复,并针对数据迁移、同步、订阅提供各数据库类型的解决链接。 校验失败:任务阻断,需修复后重新执行。 校验警告:可继续任务,但需评估影响。 处理方法:按数据库类型参考对应链接解决。
-
数据传输服务 消费 TDSQL PostgreSQL 订阅数据
数据订阅 Kafka 版(当前 Kafka Server 版本为V2.6.0)中,可以以通过0.11版本及以上的 Kafka 客户端 进行消费订阅数据, 这篇提供了消费 Demo 示例,方便你快速测试消费数据的流程,了解数据格式解析的方法。
-
数据传输服务 列过滤
数据同步过程中,当用户勾选对象时,可以选择库对象、表对象的级别,也可以选择到列的级别,这里说明列级别的数据同步。
-
数据传输服务 Where 条件过滤
在配置同步任务时,DTS 支持对单个表或者批量对多个表设置 Where 条件过滤,只有满足设置规则的数据才会同步到目标数据库,这样用户可以灵活进行数据拆分。
-
数据传输服务 设置分区策略(订阅高级操作)
当用户选择 Kafka 多分区时,可以通过设置分区策略,将业务相互关联的数据路由到同一个分区中,这样方便用户处理消费数据。DTS 支持按表名、按表名+主键、按列名进行分区,将订阅数据经过哈希规则路由到 Kafka 各分区。