腾讯云产品
-
数据传输服务 修改同步实例的当前位点
数据传输服务 DTS 支持修改同步实例增量同步模块的目标端写入位点,帮助你在不重建链路的前提下,从指定时间开始在目标端重新执行增量数据回放或跳过指定时间段的数据变更。
-
数据传输服务 周边检查(前置校验不通过处理)
建议源数据库环境变量参数 innodb_stats_on_metadata 设置为 OFF。
-
数据传输服务 使用说明(MySQL/MariaDB/Percona/TDSQL-C MySQL 数据库同步至 Kafka)
这篇列出了腾讯云DTS数据同步到Kafka时的详细限制与操作要求,包括同步对象、源库影响、目标端Kafka配置及数据同步规则,强调相互关联对象需同时同步、无锁同步对源库无影响,以及避免操作导致任务失败。 同步对象:仅支持基础表、视图、存储过程和函数,关联对象需同时同步。 源库影响:DTS使用无锁同步,写入__tencentdb__系统库记录元信息,对源库性能几乎无影响。 目标端Kafka:仅支持腾讯云专业版和标准版1。
-
数据传输服务 新增消费组(消费管理)
数据订阅 Kafka 版支持用户创建多个消费组,进行多点消费。通过创建多个消费组,可以以进行多次消费,增加消费通道降低使用成本,提升消费数据速度。
-
数据传输服务 消费管理
接口请求域名: dts.tencentcloudapi.com 。本接口(DescribeConsumerGroups)用于获取订阅实例配置的消费者组详情。
-
数据传输服务 Binlog 参数检查(前置校验不通过处理)
源数据库 binlog 相关参数需要按照如下要求配置,如果校验不通过,请参考这篇后续指导进行修复。
-
数据传输服务 多消费者设置 Client ID(消费管理)
用户使用多个消费端消费时,每个消费端可以先设置 Client ID,然后在 DTS 控制台中展示具体的 Client ID,这样可以帮助用户定位消费程序异常问题。
-
数据传输服务 管理消费组(消费管理)
数据订阅 Kafka 版支持对消费组进行管理,包括修改密码、删除消费组、修改消费位点 offset 等。同时,用户在消费管理中可查看 Client ID(显示消费该组数据的客户端 ID)、分区编号、消费点、消费点写入分区时间、消费延迟等信息。
-
数据传输服务 数据订阅支持的数据库
数据订阅是指获取数据库中关键业务的数据变化信息,将这些信息包装为消息对象推送到 Kafka 中,方便下游业务订阅、获取和消费。腾讯云 DTS 支持通过 Kafka/Flink 客户端直接消费数据,方便用户搭建云数据库和异构系统之间的数据同步,如缓存更新、ETL(数据仓库技术)实时同步以及业务异步解耦等。
-
数据传输服务 使用 Flink 消费 TDSQL MySQL 订阅数据
数据订阅 Kafka 版(当前 Kafka Server 版本为V2.6.0)中,针对 Protobuf 格式的订阅数据,可以使用 Flink 客户端(仅支持客户端类型为 DataStream API)进行消费,本场景提供使用 consumer-demo-tdsql-pb-flink 进行数据消费的 Demo 示例,方便你快速测试消费数据的流程,了解数据格式解析的方法。