数据传输服务
-
数据传输服务 同步操作指导(MongoDB 同步至 MongoDB)
这里说明使用数据传输服务 DTS 从 MongoDB 数据库同步数据至腾讯云数据库 MongoDB 的过程。
-
数据传输服务 Binlog 参数检查(前置校验不通过处理)
源数据库 binlog 相关参数需要按照如下要求配置,如果校验不通过,请参考这篇后续指导进行修复。
-
数据传输服务 数据同步支持的数据库
数据同步功能指两个数据源之间的数据实时同步,数据同步属于持续性任务,任务创建后会一直同步数据(几乎实时同步),保持源库和目标库的数据一致性。
-
数据传输服务 创建数据一致性校验(MongoDB 同步至 MongoDB)
数据一致性校验,即 DTS 对数据同步的源库和目标库的表数据进行对比,并给出对比结果和不一致详情,辅助用户快速对同步结果进行验证。数据一致性校验任务是独立进行的,不会影响源数据库的正常业务,也不会影响 DTS 的任务。
-
数据传输服务 使用 Flink 消费 TDSQL MySQL 订阅数据
数据订阅 Kafka 版(当前 Kafka Server 版本为V2.6.0)中,针对 Protobuf 格式的订阅数据,可以使用 Flink 客户端(仅支持客户端类型为 DataStream API)进行消费,本场景提供使用 consumer-demo-tdsql-pb-flink 进行数据消费的 Demo 示例,方便你快速测试消费数据的流程,了解数据格式解析的方法。
-
数据传输服务 重试任务(MySQL 系列)(任务管理)
这篇说明腾讯云 DTS 数据同步任务中断后的重试机制,支持基于 GTID 位点从断点处恢复增量同步,仅适用于 MySQL/TDSQL-C MySQL 的同步增量阶段。 重试原理:基于 Binlog 位点识别中断点,从源库第一个未执行 GTID 位置重新拉取数据。 适用限制:仅支持同步增量阶段,源库导出和数据导入阶段不支持重试。
-
数据传输服务 片键校验(前置校验不通过处理)
如果目的端预设片键,参考如下命令在源端进行分片操作。sh.shardCollection(“
. “, { : “hashed” } , false, {numInitialChunks: 预置的chunk个数})。 -
数据传输服务 修改订阅对象
订阅任务启动后,用户如需增加、删除订阅对象,可通过本操作进行。当前支持如下参数修改,其他参数的修改请参考 重置数据订阅。
-
数据传输服务 数据订阅支持的数据库(数据订阅 1.0 原 Kafka 版 )
数据订阅是指获取数据库中关键业务的数据变化信息,将这些信息包装为消息对象推送到 Kafka 中,方便下游业务订阅、获取和消费。腾讯云 DTS 支持通过 Kafka/Flink 客户端直接消费数据,方便用户搭建云数据库和异构系统之间的数据同步,如缓存更新、ETL(数据仓库技术)实时同步以及业务异步解耦等。
-
数据传输服务 压缩算法校验(前置校验不通过处理)
校验源库使用的压缩算法和目标库的是否相同,如果不同,则会产生警告,警告项不会阻塞同步,用户可忽略警告继续任务。需要注意的是,在校验目标库使用的压缩算法时,取的是任意一张系统表,修改压缩算法后系统表的压缩算法不会改变,所以可能存在警告不准确的情况,如果确定目标库已经使用了新的压缩算法,则可以忽略警告。