这篇详细说明腾讯云 DTS 在数据迁移、同步和订阅场景下的监控指标,包括 BPS、RPS、网络延迟和延迟时间,覆盖 MySQL、Redis、MongoDB、PostgreSQL 等数据库,并解释了各指标的计算方式与注意事项。 数据迁移指标:涵盖全量和增量阶段的 BPS、RPS、网络延迟及延迟时间,并针对不同数据库(如 MySQL、Redis、MongoDB、PostgreSQL)提供详细说明。 数据同步指标:与迁移指。
相关产品
数据传输服务 产品页,含版本规格、价格与购买入口。
一、指标说明
·统计维度:迁移 app_id、migratejob_id;同步 appid、replicationjobid,订阅 appId、subscribeid。
·统计粒度:60s、300s。
·BPS:表示每秒传输的数据量。
·RPS:表示每秒传输的行数。
二、MySQL/MariaDB/Percona/TDSQL-C MySQL/TDSQL MySQL
| 指标分类 |
指标中文名称 |
指标英文名称 |
单位 |
说明 |
| BPS-全量阶段 |
源实例全量导出 BPS |
MigrateDumperBps |
MB/s |
全量阶段,DTS 每秒从源实例导出的数据量。 |
| |
目标实例全量导入 BPS |
MigrateLoaderBps |
MB/s |
全量阶段,DTS 每秒导入到目标实例的数据量。 |
| BPS-增量阶段 |
源实例增量导出 BPS |
MigrateRiverBps |
MB/s |
增量阶段,DTS 每秒从源实例导出的数据量。 |
| |
目标实例增量导入 BPS |
MigrateSinkerBps |
MB/s |
增量阶段,DTS 每秒导入到目标实例的数据量。 |
| RPS-全量阶段 |
源实例全量导出 RPS |
MigrateDumperRps |
Count/s |
全量阶段,DTS 每秒从源实例导出的数据行数。 |
| |
目标实例全量导入 RPS |
MigrateLoaderRps |
Count/s |
全量阶段,DTS 每秒导入到目标实例的数据行数。 |
| RPS-增量阶段 |
源实例增量导出 RPS |
MigrateRiverRps |
Count/s |
增量阶段,DTS 每秒从源实例导出的数据行数。 |
| |
目标数据装载 RPS(同目标实例增量导入 RPS) |
MigrateLoadRps |
Count/s |
该指标为过渡阶段,后续仅保留目标实例增量导入 RPS。 |
| |
目标实例增量导入 RPS |
MigrateSinkerRps |
Count/s |
增量阶段,DTS 每秒导入到目标实例的数据行数。 |
| 网络延迟-全量阶段 |
DTS 全量导出时与源实例网络延迟 |
MigrateDumperNetworkLag |
ms |
全量阶段,DTS 数据导出与源实例的网络延迟。 |
| |
DTS 全量导入时与目标实例网络延迟 |
MigrateLoaderNetworkLag |
ms |
全量阶段,DTS 数据导入与目标实例的网络延迟。 |
| 网络延迟-增量阶段 |
DTS 增量导出时与源实例网络延迟 |
MigrateRiverNetworkLag |
ms |
增量阶段,DTS 数据导出与源实例的网络延迟。 |
| |
DTS 增量导入时与目标实例网络延迟 |
MigrateSinkerNetworkLag |
ms |
增量阶段,DTS 数据导入与目标实例的网络延迟。 |
| |
数据迁移延迟时间 |
MigrateLag |
s |
增量阶段,目标实例和源实例的时间延迟。计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 Binlog Event 中记录的时间。源库为只读的场景,当源库长时间没有数据写入时,该指标会出现延迟。“数据迁移延迟时间”指标的计算依赖于源库的增量 Binlog,当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反映真实的同步延迟时间(例如出现值为“-1”,表示存量数据迁移完成,一直没有增量数据的刷新)。DTS 为了解决这个问题,在源库中插入心跳让增量数据持续更新,但源库为只读的场景无法写入心跳,所以仍会存在延迟的情况。 |
| RPS 使用率 |
目标实例增量导入 RPS 使用率 |
MigrateSinkerRpsUsage |
% |
RPS 使用率 = 实时 RPS/ RPS 上限,RPS 上限为链路配置中选择的规格,不同的规格上限不同。当 RPS 使用率接近100%,则增量速率无法再提升,需要升级更高的规格。当链路配置为最大规格时,因为最大规格中 RPS 无上限限制,所以 RPS 使用率可能超过100%。 |
三、Redis
注意:2025年4月14日后启动的任务支持查看监控数据。对于2025年4月14日之前创建的任务,如果在2025年4月14日后启动,也会有监控数据。
| 指标分类 |
指标中文名称 |
指标英文名称 |
单位 |
说明 |
| BPS-全量阶段 |
源实例全量导出 BPS |
MigrateDumperBps |
MB/s |
全量阶段,DTS 每秒从源实例导出的数据量。 |
| |
目标实例全量导入 BPS |
MigrateLoaderBps |
MB/s |
全量阶段,DTS 每秒导入到目标实例的数据量。 |
| BPS-增量阶段 |
源实例增量导出 BPS |
MigrateRiverBps |
MB/s |
增量阶段,DTS 每秒从源实例导出的数据量。 |
| |
目标实例增量导入 BPS |
MigrateSinkerBps |
MB/s |
增量阶段,DTS 每秒导入到目标实例的数据量。 |
| RPS-全量阶段 |
目标实例全量导入 RPS(每秒命令数) |
MigrateLoaderRps |
Count/s |
在全量阶段,每秒导入数据到目标库的命令数 |
| RPS-增量阶段 |
源实例增量导出 RPS(每秒命令数) |
MigrateRiverRps |
Count/s |
在增量阶段从源库导出的数据命令数。初始值为“0”,在全量文件接收完毕后刷新。 |
| |
目标实例增量导入 RPS(每秒命令数) |
MigrateSinkerRps |
Count/s |
在增量阶段导入到目标库的数据命令数。初始值为“0”,在任意一个分片进入增量阶段后刷新。 |
| 网络延迟-全量阶段 |
DTS 全量导出时与源实例网络延迟 |
MigrateDumperNetworkLag |
ms |
全量阶段,DTS 数据导出与源实例的网络延迟。 |
| |
DTS 全量导入时与目标实例网络延迟 |
MigrateLoaderNetworkLag |
ms |
全量阶段,DTS 数据导入与目标实例的网络延迟。 |
| 网络延迟-增量阶段 |
DTS 增量导出时与源实例网络延迟 |
MigrateRiverNetworkLag |
ms |
增量阶段,DTS 数据导出与源实例的网络延迟。 |
| |
DTS 增量导入时与目标实例网络延迟 |
MigrateSinkerNetworkLag |
ms |
增量阶段,DTS 数据导入与目标实例的网络延迟。 |
| |
数据迁移延迟时间 |
MigrateLag |
s |
目标实例和源实例的时间延迟。计算方法:增量延迟数据量/当前目标实例增量导入 BPS在任意一个分片进入增量阶段后刷新。 |
| |
数据迁移延迟数据量 |
MigrateLagData |
MBytes |
目标实例和源实例的数据差距。计算方法:源实例的 repl_offset 同 DTS 已导入完成的数据量差值。在任意一个分片进入增量阶段后刷新。 |
四、MongoDB
注意:2025年6月6日后创建及启动的任务支持查看监控数据。如果新建的任务无监控数据,请 联系我们 确认链路版本,部分链路需要升级版本后才可见监控数据。
| 指标分类 |
指标中文名称 |
指标英文名称 |
单位 |
说明 |
| BPS-全量阶段 |
源实例全量导出 BPS |
MigrateDumperBps |
MB/s |
全量阶段,DTS 每秒从源实例导出的数据量。 |
| |
目标实例全量导入 BPS |
MigrateLoaderBps |
MB/s |
全量阶段,DTS 每秒导入到目标实例的数据量。 |
| BPS-增量阶段 |
源实例增量导出 BPS |
MigrateRiverBps |
MB/s |
增量阶段,DTS 每秒从源实例导出的数据量。 |
| |
目标实例增量导入 BPS |
MigrateSinkerBps |
MB/s |
增量阶段,DTS 每秒导入到目标实例的数据量。 |
| RPS-全量阶段 |
源实例全量导出 RPS |
MigrateDumperRps |
Count/s |
全量阶段,DTS 每秒从源实例导出的文档数。 |
| |
目标实例全量导入 RPS |
MigrateLoaderRps |
Count/s |
全量阶段,DTS 每秒导入到目标实例的文档数。 |
| RPS-增量阶段 |
源实例增量导出 RPS |
MigrateRiverRps |
Count/s |
增量阶段,DTS 每秒从源实例导出的文档数。初始值为“0”,在进入增量阶段并且源实例产生新的日志后刷新。 |
| |
目标实例增量导入 RPS |
MigrateSinkerRps |
Count/s |
增量阶段,DTS 每秒导入到目标实例的文档数。初始值为“0”,在进入增量阶段并且源实例产生新的日志后刷新。 |
| 网络延迟-全量阶段 |
DTS 全量导出时与源实例网络延迟 |
MigrateDumperNetworkLag |
ms |
全量阶段,DTS 数据导出与源实例的网络延迟。 |
| |
DTS 全量导入时与目标实例网络延迟 |
MigrateLoaderNetworkLag |
ms |
全量阶段,DTS 数据导入与目标实例的网络延迟。 |
| 网络延迟-增量阶段 |
DTS 增量导出时与源实例网络延迟 |
MigrateRiverNetworkLag |
ms |
增量阶段,DTS 数据导出与源实例的网络延迟。 |
| |
DTS 增量导入时与目标实例网络延迟 |
MigrateSinkerNetworkLag |
ms |
增量阶段,DTS 数据导入与目标实例的网络延迟。 |
| |
数据迁移延迟时间 |
MigrateLag |
s |
目标实例和源实例的时间延迟。计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 oplog 或 change stream event 中记录的时间。初始值为“-1”,在进入增量阶段并且源实例产生新的日志后刷新。 |
五、PostgreSQL
| 指标分类 |
指标中文名称 |
指标英文名称 |
单位 |
说明 |
| BPS-全量阶段 |
源实例全量导出 BPS |
MigrateDumperBps |
MB/s |
全量阶段,DTS 每秒从源实例导出的数据量。 |
| |
目标实例全量导入 BPS |
MigrateLoaderBps |
MB/s |
全量阶段,DTS 每秒导入到目标实例的数据量。 |
| BPS-增量阶段 |
源实例增量导出 BPS |
MigrateRiverBps |
MB/s |
增量阶段,DTS 每秒从源实例导出的数据量。 |
| |
目标实例增量导入 BPS |
MigrateSinkerBps |
MB/s |
增量阶段,DTS 每秒导入到目标实例的数据量。 |
| RPS-全量阶段 |
源实例全量导出 RPS |
MigrateDumperRps |
Count/s |
全量阶段,DTS 每秒从源实例导出的文档数。 |
| |
目标实例全量导入 RPS |
MigrateLoaderRps |
Count/s |
全量阶段,DTS 每秒导入到目标实例的文档数。 |
| RPS-增量阶段 |
源实例增量导出 RPS |
MigrateRiverRps |
Count/s |
增量阶段,DTS 每秒从源实例导出的文档数。初始值为“0”,在进入增量阶段并且源实例产生新的日志后刷新。 |
| |
目标实例增量导入 RPS |
MigrateSinkerRps |
Count/s |
增量阶段,DTS 每秒导入到目标实例的文档数。初始值为“0”,在进入增量阶段并且源实例产生新的日志后刷新。 |
| 网络延迟-全量阶段 |
DTS 全量导出时与源实例网络延迟 |
MigrateDumperNetworkLag |
ms |
全量阶段,DTS 数据导出与源实例的网络延迟。 |
| |
DTS 全量导入时与目标实例网络延迟 |
MigrateLoaderNetworkLag |
ms |
全量阶段,DTS 数据导入与目标实例的网络延迟。 |
| 网络延迟-增量阶段 |
DTS 增量导出时与源实例网络延迟 |
MigrateRiverNetworkLag |
ms |
增量阶段,DTS 数据导出与源实例的网络延迟。 |
| |
DTS 增量导入时与目标实例网络延迟 |
MigrateSinkerNetworkLag |
ms |
增量阶段,DTS 数据导入与目标实例的网络延迟。 |
| |
数据迁移延迟时间 |
MigrateLag |
s |
目标实例和源实例的时间延迟。计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 oplog 或 change stream event 中记录的时间。初始值为“-1”,在进入增量阶段并且源实例产生新的日志后刷新。 |
六、MySQL/MariaDB/Percona/TDSQL-C MySQL/TDSQL MySQL
| 指标分类 |
指标中文名 |
指标英文名 |
单位 |
说明 |
| BPS-全量阶段 |
源实例全量导出 BPS |
ReplicationDumperBps |
MB/s |
全量阶段,DTS 每秒从源实例导出的数据量。 |
| |
目标实例全量导入 BPS |
ReplicationLoaderBps |
MB/s |
全量阶段,DTS 每秒导入到目标实例的数据量。 |
| BPS-增量阶段 |
源实例增量导出 BPS |
ReplicationRiverBps |
MB/s |
增量阶段,DTS 每秒从源实例导出的数据量。 |
| |
目标实例增量导入 BPS |
ReplicationSinkerBps |
MB/s |
增量阶段,DTS 每秒导入到目标实例的数据量。 |
| RPS-全量阶段 |
源实例全量导出 RPS |
ReplicationDumperRps |
Count/s |
全量阶段,DTS 每秒从源实例导出的数据行数。 |
| |
目标实例全量导入 RPS |
ReplicationLoaderRps |
Count/s |
全量阶段,DTS 每秒导入到目标实例的数据行数。 |
| RPS-增量阶段 |
源实例增量导出 RPS |
ReplicationRiverRps |
Count/s |
增量阶段,DTS 每秒从源实例导出的数据行数。 |
| |
目标数据装载 RPS(同目标实例增量导入 RPS) |
ReplicationLoadRps |
Count/s |
该指标为过渡阶段,后续仅保留目标实例增量导入 RPS。 |
| |
目标实例增量导入 RPS |
ReplicationSinkerRps |
Count/s |
增量阶段,DTS 每秒导入到目标实例的数据行数。 |
| 网络延迟-全量阶段 |
DTS 全量导出时与源实例网络延迟 |
ReplicationDumperNetworkLag |
ms |
全量阶段,DTS 数据导出与源实例的网络延迟。 |
| |
DTS 全量导入时与目标实例网络延迟 |
ReplicationLoaderNetworkLag |
ms |
全量阶段,DTS 数据导入与目标实例的网络延迟。 |
| 网络延迟-增量阶段 |
DTS 增量导出时与源实例网络延迟 |
ReplicationRiverNetworkLag |
ms |
增量阶段,DTS 数据导出与源实例的网络延迟。 |
| |
DTS 增量导入时与目标实例网络延迟 |
ReplicationSinkerNetworkLag |
ms |
增量阶段,DTS 数据导入与目标实例的网络延迟。 |
| |
数据同步延迟时间 |
DtsReplicationLag |
s |
增量阶段,目标实例和源实例的时间同步延迟。计算方法:源实例当前时间减去目标实例当前正在执行的最新一条源实例 Binlog Event 中记录的时间。源库为只读的场景,当源库长时间没有数据写入时,该指标会出现延迟。“数据同步延迟时间”指标的计算依赖于源库的增量 Binlog,当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反映真实的同步延迟时间(例如出现值为“-1”,表示存量数据同步完成,一直没有增量数据的刷新)。DTS 为了解决这个问题,在源库中插入心跳让增量数据持续更新,但源库为只读的场景无法写入心跳,所以仍会存在延迟的情况。 |
| RPS 使用率 |
目标实例增量导入 RPS 使用率 |
ReplicationSinkerRpsUsage |
% |
RPS 使用率 = 实时 RPS/ RPS 上限,RPS 上限为链路配置中选择的规格,不同的规格上限不同。当 RPS 使用率接近100%,则增量速率无法再提升,需要升级更高的规格。当链路配置为最大规格时,因为最大规格中 RPS 无上限限制,所以 RPS 使用率可能超过100%。 |
七、MySQL/TDSQL-C MySQL
| 指标分类 |
指标中文名 |
指标英文名 |
单位 |
指标说明 |
| 数据生产 |
订阅服务与源库的 GTID 差距个数 |
ProducerLag |
Count |
数据订阅服务已解析的 Binlog Event 与源库最新产生的 Binlog Event 之间的 GTID 个数差距。 当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反映真实的同步延迟时间。例如出现值为“-1”,表示源库一直没有数据刷新。 |
| |
订阅服务每秒解析事务数 |
ProducerTps |
Count/s |
增量阶段,DTS 每秒从源实例 Binlog 抽取解析的事务数。 |
| |
源实例增量导出 BPS |
SubscribeRiverBps |
MB/s |
增量阶段,DTS 每秒从源实例导出的数据量。 |
| |
Kafka 增量导入 BPS |
SubscribeSinkerBps |
MB/s |
增量阶段,DTS 每秒导入到订阅内置 Kafka 的数据量。 |
| 数据消费 |
订阅消费分区未消费记录数 |
SubscribeConsumePartitionUnConsume |
Count |
待消费的数据位点,与已消费的数据位点差距。统计维度分为“Partition”、“Group”、“Task”。 |
| |
订阅消费分区消费延迟时间 |
SubscribeConsumePartitionLatency |
s |
消费数据与源实例的延迟时间。统计维度分为“Partition”、“Group”、“Task”。 |
八、MariaDB/Percona/TDSQL MySQL
| 指标分类 |
指标中文名 |
指标英文名 |
单位 |
指标说明 |
| 数据生产 |
订阅服务与源库的 GTID 差距个数 |
ProducerLag |
Count |
数据订阅服务已解析的 Binlog Event 与源库最新产生的 Binlog Event 之间的 GTID 个数差距。 当源库长时间没有 DDL 或者 DML 操作时,该指标会逐步增大,无法反映真实的同步延迟时间。例如出现值为“-1”,表示源库一直没有数据刷新。 |
| |
订阅服务每秒解析事务数 |
ProducerTps |
Count/s |
DTS 每秒从源实例 Binlog 抽取解析的事务数。 |
| 数据消费 |
订阅消费分区未消费记录数 |
SubscribeConsumePartitionUnConsume |
Count |
待消费的数据位点,与已消费的数据位点差距。统计维度分为“Partition”、“Group”、“Task”。 |
| |
订阅消费分区消费延迟时间 |
SubscribeConsumePartitionLatency |
s |
消费数据与源实例的延迟时间。统计维度分为“Partition”、“Group”、“Task”。 |
九、TDSQL PostgreSQL
| 指标中文名 |
指标英文名 |
单位 |
指标说明 |
| 订阅服务与源库的 LSN 差距 |
ProducerLsnLag |
MBytes |
数据订阅服务已解析的日志位点与源库最新产生的日志位点之间的 LSN 差距。 |
| 订阅服务每秒解析事务数 |
ProducerTps |
Count/s |
DTS 每秒从源实例 Binlog 抽取解析的事务数。 |