数据传输服务
-
数据传输服务 常见错误处理(错误处理)
这篇汇总了腾讯云 DTS 在 MySQL 迁移、同步、订阅任务中的常见错误码及处理方法,涵盖权限、连接数、主键冲突、Binlog 等问题的分析与解决步骤。 MySQL 错误:包括 1227(权限)、1040(连接数)、1062(主键冲突)等,需根据原因调整授权或数据。 DTS 错误:涵盖数据库连接异常、Binlog 参数不符、Kafka 数据过期等,可按指导排查或重建任务。
-
数据传输服务 数据订阅生产端延迟过高
数据订阅生产端延迟过高,通过查看监控数据显示,订阅服务与源库的 GTID 个数差距较大,订阅服务每秒解析事务数非常低。
-
数据传输服务 数据同步有延时
请先 查看监控数据 中源库和目标库的 RPS,如果用户选择的传输链路规格较低,并且 RPS 已达到该规格的上限,请升级传输链路规格,不同规格的上限请参考 数据迁移规格说明;如果用户已经选择了最高的规格,RPS 仍然达到规格上限,则按照以下办法进行排查。
-
数据传输服务 使用 Flink 消费 TDSQL MySQL 订阅数据(使用 Flink 消费数据)
数据订阅 Kafka 版(当前 Kafka Server 版本为V2.6.0)中,针对 Protobuf 格式的订阅数据,可以使用 Flink 客户端(仅支持客户端类型为 DataStream API)进行消费,本场景提供使用 consumer-demo-tdsql-pb-flink 进行数据消费的 Demo 示例,方便你快速测试消费数据的流程,了解数据格式解析的方法。
-
数据传输服务 DDL 和 DML 过滤
在配置同步任务时,可以选择 DDL 和 DML 同步策略,设置后,只有勾选的 SQL 数据才会同步到目标数据库,这样用户可以根据场景,灵活设置多个数据库之间的同步方案,或者进行数据表的拆分。
-
数据传输服务 Protobuf Demo 说明(Flink)
下面首先对消息生产逻辑进行简要说明,有助于用户理解消费逻辑。
我们采用 Protobuf 进行序列化,Demo 中均附带有 Protobuf 定义文件。文件中定义了几个关键结构:Envelope 是最终发送的 Kafka 消息结构;Entry 是单个订阅事件结构;Entries 是 Entry 的集合。主要数据结构关系如下所示。 -
数据传输服务 修改订阅对象(任务管理)
订阅任务启动后,用户如需增加、删除订阅对象,可通过本操作进行。当前支持如下参数修改,其他参数的修改请参考 重置数据订阅。
-
数据传输服务 批量操作(任务管理)
这篇说说腾讯云DTS数据同步任务的批量操作,包括批量启动、结束、删除、销毁/退货及变配,用户可在控制台选择任务后通过“更多操作”菜单执行。 批量启动/结束/删除/销毁:用户可在数据同步页面批量选择任务执行对应操作。 批量变配:用户可批量调整任务规格,需选择目标配置并确认费用。
-
数据传输服务 Avro Demo 说明(Flink)
Record.avsc 中我们定义了14个结构(Avro 中叫做 schema),其中主要的数据结构为 Record,用于表示 binlog 中的一条数据,Record 的结构如下,其他数据结构可以在 Record.avsc 中查看。
-
数据传输服务 重置订阅(任务管理)
重置数据订阅,即停止原任务,删除原订阅任务中的参数配置和订阅数据,删除后不可再恢复。重置后任务状态为“未配置”,用户可以重新配置所有参数。重置操作适用于不需要的订阅任务,通过重置后快速配置新任务,用户无需将老任务退费,再购买新任务,方便操作。