数据传输服务 监控指标观测

这篇详细说明腾讯云 DTS 在数据迁移、同步和订阅场景下的监控指标,包括 BPS、RPS、网络延迟和延迟时间,覆盖 MySQL、Redis、MongoDB、PostgreSQL 等数据库,并解释了各指标的计算方式与注意事项。 数据迁移指标:涵盖全量和增量阶段的 BPS、RPS、网络延迟及延迟时间,并针对不同数据库(如 MySQL、Redis、MongoDB、PostgreSQL)提供详细说明。 数据同步指标:与迁移指。

相关产品
数据传输服务 产品页,含版本规格、价格与购买入口。

一、指标说明

·统计维度:迁移 app_id、migratejob_id;同步 appid、replicationjobid,订阅 appId、subscribeid。

·统计粒度:60s、300s。

·BPS:表示每秒传输的数据量。

·RPS:表示每秒传输的行数。

二、MySQL/MariaDB/Percona/TDSQL-C MySQL/TDSQL MySQL

指标分类 指标中文名称 指标英文名称 单位 说明
BPS-全量阶段 源实例全量导出 BPS MigrateDumperBps MB/s 全量阶段,DTS 每秒从源实例导出的数据量。
 目标实例全量导入 BPS MigrateLoaderBps MB/s 全量阶段,DTS 每秒导入到目标实例的数据量。
BPS-增量阶段 源实例增量导出 BPS MigrateRiverBps MB/s 增量阶段,DTS 每秒从源实例导出的数据量。
 目标实例增量导入 BPS MigrateSinkerBps MB/s 增量阶段,DTS 每秒导入到目标实例的数据量。
RPS-全量阶段 源实例全量导出 RPS MigrateDumperRps Count/s 全量阶段,DTS 每秒从源实例导出的数据行数。
 目标实例全量导入 RPS MigrateLoaderRps Count/s 全量阶段,DTS 每秒导入到目标实例的数据行数。
RPS-增量阶段 源实例增量导出 RPS MigrateRiverRps Count/s 增量阶段,DTS 每秒从源实例导出的数据行数。
 目标数据装载 RPS(同目标实例增量导入 RPS) MigrateLoadRps Count/s 该指标为过渡阶段,后续仅保留目标实例增量导入 RPS。
 目标实例增量导入 RPS MigrateSinkerRps Count/s 增量阶段,DTS 每秒导入到目标实例的数据行数。
网络延迟-全量阶段 DTS 全量导出时与源实例网络延迟 MigrateDumperNetworkLag ms 全量阶段,DTS 数据导出与源实例的网络延迟。
 DTS 全量导入时与目标实例网络延迟 MigrateLoaderNetworkLag ms 全量阶段,DTS 数据导入与目标实例的网络延迟。
网络延迟-增量阶段 DTS 增量导出时与源实例网络延迟 MigrateRiverNetworkLag ms 增量阶段,DTS 数据导出与源实例的网络延迟。
 DTS 增量导入时与目标实例网络延迟 MigrateSinkerNetworkLag ms 增量阶段,DTS 数据导入与目标实例的网络延迟。
 数据迁移延迟时间 MigrateLag s 增量阶段,目标实例和源实例的时间延迟。计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 Binlog Event 中记录的时间。源库为只读的场景,当源库长时间没有数据写入时,该指标会出现延迟。“数据迁移延迟时间”指标的计算依赖于源库的增量 Binlog,当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反映真实的同步延迟时间(例如出现值为“-1”,表示存量数据迁移完成,一直没有增量数据的刷新)。DTS 为了解决这个问题,在源库中插入心跳让增量数据持续更新,但源库为只读的场景无法写入心跳,所以仍会存在延迟的情况。
RPS 使用率 目标实例增量导入 RPS 使用率 MigrateSinkerRpsUsage % RPS 使用率 = 实时 RPS/ RPS 上限,RPS 上限为链路配置中选择的规格,不同的规格上限不同。当 RPS 使用率接近100%,则增量速率无法再提升,需要升级更高的规格。当链路配置为最大规格时,因为最大规格中 RPS 无上限限制,所以 RPS 使用率可能超过100%。

三、Redis

注意:2025年4月14日后启动的任务支持查看监控数据。对于2025年4月14日之前创建的任务,如果在2025年4月14日后启动,也会有监控数据。

指标分类 指标中文名称 指标英文名称 单位 说明
BPS-全量阶段 源实例全量导出 BPS MigrateDumperBps MB/s 全量阶段,DTS 每秒从源实例导出的数据量。
 目标实例全量导入 BPS MigrateLoaderBps MB/s 全量阶段,DTS 每秒导入到目标实例的数据量。
BPS-增量阶段 源实例增量导出 BPS MigrateRiverBps MB/s 增量阶段,DTS 每秒从源实例导出的数据量。
 目标实例增量导入 BPS MigrateSinkerBps MB/s 增量阶段,DTS 每秒导入到目标实例的数据量。
RPS-全量阶段 目标实例全量导入 RPS(每秒命令数) MigrateLoaderRps Count/s 在全量阶段,每秒导入数据到目标库的命令数
RPS-增量阶段 源实例增量导出 RPS(每秒命令数) MigrateRiverRps Count/s 在增量阶段从源库导出的数据命令数。初始值为“0”,在全量文件接收完毕后刷新。
 目标实例增量导入 RPS(每秒命令数) MigrateSinkerRps Count/s 在增量阶段导入到目标库的数据命令数。初始值为“0”,在任意一个分片进入增量阶段后刷新。
网络延迟-全量阶段 DTS 全量导出时与源实例网络延迟 MigrateDumperNetworkLag ms 全量阶段,DTS 数据导出与源实例的网络延迟。
 DTS 全量导入时与目标实例网络延迟 MigrateLoaderNetworkLag ms 全量阶段,DTS 数据导入与目标实例的网络延迟。
网络延迟-增量阶段 DTS 增量导出时与源实例网络延迟 MigrateRiverNetworkLag ms 增量阶段,DTS 数据导出与源实例的网络延迟。
 DTS 增量导入时与目标实例网络延迟 MigrateSinkerNetworkLag ms 增量阶段,DTS 数据导入与目标实例的网络延迟。
 数据迁移延迟时间 MigrateLag s 目标实例和源实例的时间延迟。计算方法:增量延迟数据量/当前目标实例增量导入 BPS在任意一个分片进入增量阶段后刷新。
 数据迁移延迟数据量 MigrateLagData MBytes 目标实例和源实例的数据差距。计算方法:源实例的 repl_offset 同 DTS 已导入完成的数据量差值。在任意一个分片进入增量阶段后刷新。

四、MongoDB

注意:2025年6月6日后创建及启动的任务支持查看监控数据。如果新建的任务无监控数据,请 联系我们 确认链路版本,部分链路需要升级版本后才可见监控数据。

指标分类 指标中文名称 指标英文名称 单位 说明
BPS-全量阶段 源实例全量导出 BPS MigrateDumperBps MB/s 全量阶段,DTS 每秒从源实例导出的数据量。
 目标实例全量导入 BPS MigrateLoaderBps MB/s 全量阶段,DTS 每秒导入到目标实例的数据量。
BPS-增量阶段 源实例增量导出 BPS MigrateRiverBps MB/s 增量阶段,DTS 每秒从源实例导出的数据量。
 目标实例增量导入 BPS MigrateSinkerBps MB/s 增量阶段,DTS 每秒导入到目标实例的数据量。
RPS-全量阶段 源实例全量导出 RPS MigrateDumperRps Count/s 全量阶段,DTS 每秒从源实例导出的文档数。
 目标实例全量导入 RPS MigrateLoaderRps Count/s 全量阶段,DTS 每秒导入到目标实例的文档数。
RPS-增量阶段 源实例增量导出 RPS MigrateRiverRps Count/s 增量阶段,DTS 每秒从源实例导出的文档数。初始值为“0”,在进入增量阶段并且源实例产生新的日志后刷新。
 目标实例增量导入 RPS MigrateSinkerRps Count/s 增量阶段,DTS 每秒导入到目标实例的文档数。初始值为“0”,在进入增量阶段并且源实例产生新的日志后刷新。
网络延迟-全量阶段 DTS 全量导出时与源实例网络延迟 MigrateDumperNetworkLag ms 全量阶段,DTS 数据导出与源实例的网络延迟。
 DTS 全量导入时与目标实例网络延迟 MigrateLoaderNetworkLag ms 全量阶段,DTS 数据导入与目标实例的网络延迟。
网络延迟-增量阶段 DTS 增量导出时与源实例网络延迟 MigrateRiverNetworkLag ms 增量阶段,DTS 数据导出与源实例的网络延迟。
 DTS 增量导入时与目标实例网络延迟 MigrateSinkerNetworkLag ms 增量阶段,DTS 数据导入与目标实例的网络延迟。
 数据迁移延迟时间 MigrateLag s 目标实例和源实例的时间延迟。计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 oplog 或 change stream event 中记录的时间。初始值为“-1”,在进入增量阶段并且源实例产生新的日志后刷新。

五、PostgreSQL

指标分类 指标中文名称 指标英文名称 单位 说明
BPS-全量阶段 源实例全量导出 BPS MigrateDumperBps MB/s 全量阶段,DTS 每秒从源实例导出的数据量。
 目标实例全量导入 BPS MigrateLoaderBps MB/s 全量阶段,DTS 每秒导入到目标实例的数据量。
BPS-增量阶段 源实例增量导出 BPS MigrateRiverBps MB/s 增量阶段,DTS 每秒从源实例导出的数据量。
 目标实例增量导入 BPS MigrateSinkerBps MB/s 增量阶段,DTS 每秒导入到目标实例的数据量。
RPS-全量阶段 源实例全量导出 RPS MigrateDumperRps Count/s 全量阶段,DTS 每秒从源实例导出的文档数。
 目标实例全量导入 RPS MigrateLoaderRps Count/s 全量阶段,DTS 每秒导入到目标实例的文档数。
RPS-增量阶段 源实例增量导出 RPS MigrateRiverRps Count/s 增量阶段,DTS 每秒从源实例导出的文档数。初始值为“0”,在进入增量阶段并且源实例产生新的日志后刷新。
 目标实例增量导入 RPS MigrateSinkerRps Count/s 增量阶段,DTS 每秒导入到目标实例的文档数。初始值为“0”,在进入增量阶段并且源实例产生新的日志后刷新。
网络延迟-全量阶段 DTS 全量导出时与源实例网络延迟 MigrateDumperNetworkLag ms 全量阶段,DTS 数据导出与源实例的网络延迟。
 DTS 全量导入时与目标实例网络延迟 MigrateLoaderNetworkLag ms 全量阶段,DTS 数据导入与目标实例的网络延迟。
网络延迟-增量阶段 DTS 增量导出时与源实例网络延迟 MigrateRiverNetworkLag ms 增量阶段,DTS 数据导出与源实例的网络延迟。
 DTS 增量导入时与目标实例网络延迟 MigrateSinkerNetworkLag ms 增量阶段,DTS 数据导入与目标实例的网络延迟。
 数据迁移延迟时间 MigrateLag s 目标实例和源实例的时间延迟。计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 oplog 或 change stream event 中记录的时间。初始值为“-1”,在进入增量阶段并且源实例产生新的日志后刷新。

六、MySQL/MariaDB/Percona/TDSQL-C MySQL/TDSQL MySQL

指标分类 指标中文名 指标英文名 单位 说明
BPS-全量阶段 源实例全量导出 BPS ReplicationDumperBps MB/s 全量阶段,DTS 每秒从源实例导出的数据量。
 目标实例全量导入 BPS ReplicationLoaderBps MB/s 全量阶段,DTS 每秒导入到目标实例的数据量。
BPS-增量阶段 源实例增量导出 BPS ReplicationRiverBps MB/s 增量阶段,DTS 每秒从源实例导出的数据量。
 目标实例增量导入 BPS ReplicationSinkerBps MB/s 增量阶段,DTS 每秒导入到目标实例的数据量。
RPS-全量阶段 源实例全量导出 RPS ReplicationDumperRps Count/s 全量阶段,DTS 每秒从源实例导出的数据行数。
 目标实例全量导入 RPS ReplicationLoaderRps Count/s 全量阶段,DTS 每秒导入到目标实例的数据行数。
RPS-增量阶段 源实例增量导出 RPS ReplicationRiverRps Count/s 增量阶段,DTS 每秒从源实例导出的数据行数。
 目标数据装载 RPS(同目标实例增量导入 RPS) ReplicationLoadRps Count/s 该指标为过渡阶段,后续仅保留目标实例增量导入 RPS。
 目标实例增量导入 RPS ReplicationSinkerRps Count/s 增量阶段,DTS 每秒导入到目标实例的数据行数。
网络延迟-全量阶段 DTS 全量导出时与源实例网络延迟 ReplicationDumperNetworkLag ms 全量阶段,DTS 数据导出与源实例的网络延迟。
 DTS 全量导入时与目标实例网络延迟 ReplicationLoaderNetworkLag ms 全量阶段,DTS 数据导入与目标实例的网络延迟。
网络延迟-增量阶段 DTS 增量导出时与源实例网络延迟 ReplicationRiverNetworkLag ms 增量阶段,DTS 数据导出与源实例的网络延迟。
 DTS 增量导入时与目标实例网络延迟 ReplicationSinkerNetworkLag ms 增量阶段,DTS 数据导入与目标实例的网络延迟。
 数据同步延迟时间 DtsReplicationLag s 增量阶段,目标实例和源实例的时间同步延迟。计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 Binlog Event 中记录的时间。源库为只读的场景,当源库长时间没有数据写入时,该指标会出现延迟。“数据同步延迟时间”指标的计算依赖于源库的增量 Binlog,当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反映真实的同步延迟时间(例如出现值为“-1”,表示存量数据同步完成,一直没有增量数据的刷新)。DTS 为了解决这个问题,在源库中插入心跳让增量数据持续更新,但源库为只读的场景无法写入心跳,所以仍会存在延迟的情况。
RPS 使用率 目标实例增量导入 RPS 使用率 ReplicationSinkerRpsUsage % RPS 使用率 = 实时 RPS/ RPS 上限,RPS 上限为链路配置中选择的规格,不同的规格上限不同。当 RPS 使用率接近100%,则增量速率无法再提升,需要升级更高的规格。当链路配置为最大规格时,因为最大规格中 RPS 无上限限制,所以 RPS 使用率可能超过100%。

七、MySQL/TDSQL-C MySQL

指标分类 指标中文名 指标英文名 单位 指标说明
数据生产 订阅服务与源库的 GTID 差距个数 ProducerLag Count 数据订阅服务已解析的 Binlog Event 与源库最新产生的 Binlog Event 之间的 GTID 个数差距。 当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反映真实的同步延迟时间。例如出现值为“-1”,表示源库一直没有数据刷新。
 订阅服务每秒解析事务数 ProducerTps Count/s 增量阶段,DTS 每秒从源实例 Binlog 抽取解析的事务数。
 源实例增量导出 BPS SubscribeRiverBps MB/s 增量阶段,DTS 每秒从源实例导出的数据量。
 Kafka 增量导入 BPS SubscribeSinkerBps MB/s 增量阶段,DTS 每秒导入到订阅内置 Kafka 的数据量。
数据消费 订阅消费分区未消费记录数 SubscribeConsumePartitionUnConsume Count 待消费的数据位点,与已消费的数据位点差距。统计维度分为“Partition”、“Group”、“Task”。
 订阅消费分区消费延迟时间 SubscribeConsumePartitionLatency s 消费数据与源实例的延迟时间。统计维度分为“Partition”、“Group”、“Task”。

八、MariaDB/Percona/TDSQL MySQL

指标分类 指标中文名 指标英文名 单位 指标说明
数据生产 订阅服务与源库的 GTID 差距个数 ProducerLag Count 数据订阅服务已解析的 Binlog Event 与源库最新产生的 Binlog Event 之间的 GTID 个数差距。 当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反映真实的同步延迟时间。例如出现值为“-1”,表示源库一直没有数据刷新。
 订阅服务每秒解析事务数 ProducerTps Count/s DTS 每秒从源实例 Binlog 抽取解析的事务数。
数据消费 订阅消费分区未消费记录数 SubscribeConsumePartitionUnConsume Count 待消费的数据位点,与已消费的数据位点差距。统计维度分为“Partition”、“Group”、“Task”。
 订阅消费分区消费延迟时间 SubscribeConsumePartitionLatency s 消费数据与源实例的延迟时间。统计维度分为“Partition”、“Group”、“Task”。

九、TDSQL PostgreSQL

指标中文名 指标英文名 单位 指标说明
订阅服务与源库的 LSN 差距 ProducerLsnLag MBytes 数据订阅服务已解析的日志位点与源库最新产生的日志位点之间的 LSN 差距。
订阅服务每秒解析事务数 ProducerTps Count/s DTS 每秒从源实例 Binlog 抽取解析的事务数。
赞 (0)
上一篇 4天前
下一篇 4天前