数据传输服务
-
数据传输服务 数据消费操作指导(TDSQL MySQL 同步至 Kafka)
数据同步到 Kafka 后,可以以通过0.11版本及以上的 Kafka 客户端 进行消费订阅数据,这篇提供了 Java、Go、Python 语言的客户端消费 Demo 示例,方便你快速测试消费数据的流程,了解数据格式解析的方法。
-
数据传输服务 同步至 MySQL 系列
这里说明使用数据传输服务 DTS 从 MySQL、MariaDB、Percona 数据库同步数据至腾讯云数据库 MySQL 的过程。
-
数据传输服务 数据投递到 Kafka 策略设置
源端数据同步到 Kafka 时,支持灵活的投递策略,可以将不同表的数据投递到不同的 Topic 中,也可以集中投递到单 Topic 中。不同策略的说明如下。
-
数据传输服务 目标实例内容冲突检查(MySQL 系列前置校验不通过处理)
使用 DTS 库表映射功能,将同名的待同步对象映射为目标数据库中的其他名称。1. 登录 DTS 控制台,选择对应的同步任务,在操作列,选择更多 > 修改同步配置。
-
数据传输服务 网络准备
使用 DTS 可实现本地 IDC、腾讯云、其他第三方云厂商,这些不同部署形态的数据库之间的同步,方便企业用户进行数据库搬迁、数据库备份、构建云上云下多活架构等。
-
数据传输服务 外键依赖检查(MySQL 系列前置校验不通过处理)
这篇说明MySQL系数据库间数据同步时外键依赖必须设置为NO ACTION或RESTRICT,否则报错,并提供了Windows和Linux下的修改操作指导,以及完善迁移对象的方法。 外键限制:同步时外键只能设为NO ACTION或RESTRICT,其他值会报错。 修改操作:Windows通过DMC平台,Linux通过SQL命令删除并重新添加外键。 迁移对象:需在任务中勾选所有有外键关联的表。
-
数据传输服务 本地 IDC 与腾讯云的互通
DTS 支持将其他第三方云厂商数据库作为源/目标库进行数据同步,使用 DTS 进行数据库的同步,需要分别将源/目标数据库所在的网络与 DTS 所属的腾讯云网络进行打通,以便 DTS 可以连通源/目标数据库。
-
数据传输服务 腾讯专有云与腾讯云的互通
腾讯专有云是面向企业用户提供的团体云,与腾讯云(公有云)资源完全隔离。DTS 支持将腾讯专有云中的数据库作为源/目标库进行数据同步,使用 DTS 进行数据库的同步,需要分别将源/目标数据库所在的网络与 DTS 所属的腾讯云网络进行打通,以便 DTS 可以连通源/目标数据库。
-
数据传输服务 批量任务,放通 DTS 访问 IP 所属网段
进行批量 DTS 任务时,如果采用“放通单独 DTS 访问地址”的方法(先对任务进行连通性测试,获得 DTS IP,再逐一添加到源数据库和目标数据库的白名单中),效率较低,本章节提供一种高效的方法,一次性放开 DTS 访问 IP 所属网段。
-
数据传输服务 Canal Demo 说明(Canal ProtoBuf/Canal JSON)
DTS 写入到 Kafka 的同步数据支持兼容开源工具 Canal 格式,采用 ProtoBuf 或者 JSON 的序列化协议,可以以在配置 DTS 同步任务的过程中选择数据格式 Canal Protobuf 或者 Canal JSON,然后使用消费 Demo 进行业务适配,即可得到消费数据。