腾讯云产品

  • 数据传输服务 管理消费组

    数据订阅 Kafka 版支持对消费组进行管理,包括修改密码、删除消费组、修改消费位点 offset 等。同时,用户在消费管理中可查看 Client ID(显示消费该组数据的客户端 ID)、分区编号、消费点、消费点写入分区时间、消费延迟等信息。

    腾讯云产品 5天前
  • 数据传输服务 创建数据一致性校验(MongoDB 同步至 MongoDB)

    数据一致性校验,即 DTS 对数据同步的源库和目标库的表数据进行对比,并给出对比结果和不一致详情,辅助用户快速对同步结果进行验证。数据一致性校验任务是独立进行的,不会影响源数据库的正常业务,也不会影响 DTS 的任务。

    腾讯云产品 5天前
  • 数据传输服务 重试任务(MySQL 系列)(任务管理)

    这篇说明腾讯云 DTS 数据同步任务中断后的重试机制,支持基于 GTID 位点从断点处恢复增量同步,仅适用于 MySQL/TDSQL-C MySQL 的同步增量阶段。 重试原理:基于 Binlog 位点识别中断点,从源库第一个未执行 GTID 位置重新拉取数据。 适用限制:仅支持同步增量阶段,源库导出和数据导入阶段不支持重试。

    腾讯云产品 5天前
  • 数据传输服务 Protobuf Demo 说明(Flink)

    下面首先对消息生产逻辑进行简要说明,有助于用户理解消费逻辑。
    我们采用 Protobuf 进行序列化,Demo 中均附带有 Protobuf 定义文件。文件中定义了几个关键结构:Envelope 是最终发送的 Kafka 消息结构;Entry 是单个订阅事件结构;Entries 是 Entry 的集合。主要数据结构关系如下所示。

    腾讯云产品 5天前
  • 数据传输服务 使用只读实例或只读节点作为源库

    为避免全量迁移或同步阶段对源端主库造成读取压力,DTS 支持将源库连接配置为只读实例或只读节点,包括自建 MySQL 的只读从库、云数据库只读实例、其他云厂商数据库的只读节点等。

    腾讯云产品 5天前
  • 数据传输服务 片键校验(前置校验不通过处理)

    如果目的端预设片键,参考如下命令在源端进行分片操作。sh.shardCollection(“.“, { : “hashed” } , false, {numInitialChunks: 预置的chunk个数})。

    腾讯云产品 5天前
  • 数据传输服务 数据订阅支持的数据库(数据订阅 1.0 原 Kafka 版 )

    数据订阅是指获取数据库中关键业务的数据变化信息,将这些信息包装为消息对象推送到 Kafka 中,方便下游业务订阅、获取和消费。腾讯云 DTS 支持通过 Kafka/Flink 客户端直接消费数据,方便用户搭建云数据库和异构系统之间的数据同步,如缓存更新、ETL(数据仓库技术)实时同步以及业务异步解耦等。

    腾讯云产品 5天前
  • 数据传输服务 Avro Demo 说明(Flink)

    Record.avsc 中我们定义了14个结构(Avro 中叫做 schema),其中主要的数据结构为 Record,用于表示 binlog 中的一条数据,Record 的结构如下,其他数据结构可以在 Record.avsc 中查看。

    腾讯云产品 5天前
  • 数据传输服务 退费说明

    退费仅对以包年包月形式购买的任务,以按量计费形式购买的任务,因为本身是后付费形式,无法申请退费。

    腾讯云产品 5天前
  • 数据传输服务 压缩算法校验(前置校验不通过处理)

    校验源库使用的压缩算法和目标库的是否相同,如果不同,则会产生警告,警告项不会阻塞同步,用户可忽略警告继续任务。需要注意的是,在校验目标库使用的压缩算法时,取的是任意一张系统表,修改压缩算法后系统表的压缩算法不会改变,所以可能存在警告不准确的情况,如果确定目标库已经使用了新的压缩算法,则可以忽略警告。

    腾讯云产品 5天前