云数据库 MongoDB 创建数据一致性校验

这篇说说腾讯云DTS数据一致性校验的自动触发与手动创建两种方式,并说明校验参数配置及结果查看方法。自动触发在迁移任务同步增量步骤自动执行,手动创建支持多次自定义校验。 自动触发:在迁移任务设置中开启,默认校验全部迁移对象,不可筛选。 手动创建:登录DTS控制台,选择迁移任务创建校验,支持自定义校验对象和抽样比例。 校验结果:全量校验查看集合总数与不一致数,增量校验查看记录数与不一致表数。

相关产品
云数据库 MongoDB 产品页,含版本规格、价格与购买入口。

一、操作场景

数据一致性校验任务可以采用自动触发形式,也可以采用手动创建形式。

·自动触发:在配置迁移任务时,开启数据一致性校验任务,则后续任务进行到同步增量步骤时自动触发一次一致性校验任务。

·手动创建:手动创建一致性校验任务,支持多次创建。

二、自动触发

在 数据迁移任务 的设置一致性校验页面,勾选开启数据一致性校验,当后续任务进行到同步增量步骤时自动触发一次一致性校验任务。

注意:说明:

注意:自动触发一致性校验任务,默认会发起全部迁移对象的内容校验,如需筛选校验对象,请选择手动创建一致性校验任务。

配置项 参数 描述
校验选项 校验内容 数据库信息:针对源和目标库中的索引、库表信息进行校验。全量校验:针对目标端追平源端数据前的全部数据进行比较。持续增量校验:针对持续增量校验任务发起后产生的增量数据进行比较。
 数据库信息 支持校验索引和库表信息。
 校验基准 源端:使用源端的数据作为校验基准。
校验参数配置 线程数选择 设置范围为1~8,请根据实际情况选择,提高线程数可加快一致性校验速度,但也会增加源和目标库的负载。
校验对象选项 校验对象 全部迁移对象:校验范围为迁移任务勾选的全部对象。

三、手动创建

1. 登录 DTS 控制台。

2. 在数据迁移页面,选择需要校验的迁移任务,在操作列选择更多 > 创建数据一致性校验。


3. 在数据一致性校验页签,单击创建数据一致性校验。

注意:说明:

注意:如果已存在一致性校验任务,可以单击操作列的创建类似任务,并支持配置相关参数。

注意:

4. 在弹出的对话框中,配置数据一致性校验参数后,单击创建并启动一致性校验。

参数 说明
任务名称 创建一致性校验任务的名称。
校验内容 数据库信息:针对源和目标库中的索引、库表信息进行校验。全量校验:针对目标端追平源端数据前的全部数据进行比较。持续增量校验:针对持续增量校验任务发起后产生的增量数据进行比较。
数据库信息 支持校验索引和库表信息。
校验基准 源端:使用源端的数据作为校验基准。
数据校验 内容校验:对所选校验对象进行内容校验,选择后可配置抽样的比例。行数校验:对所选校验对象进行行数对比。
抽样对比 配置抽样比例,抽样比例支持10%,20%,30%……90%。说明:针对一些数据量较大的场景,全部数据校验可能会增加源库的负载,请用户根据业务情况选择抽样配比。
校验对象 全部迁移对象:校验范围为迁移任务勾选的全部对象。自定义选择:在勾选的迁移对象中,选择进行校验的对象。
线程数选择 设置范围为1~8,请根据实际情况选择,提高线程数可加快一致性校验速度,但也会增加源和目标库的负载。

四、查看一致性校验结果

1. 在数据迁移页面,选择需要查看的迁移任务,在操作列选择更多 > 创建数据一致性校验。

2. 在操作列单击查看,即可查看校验结果。

3. 查看校验结果。

·全量校验:查看预估集合总数、已检测集合数量、不一致集合数量、已跳过集合数。

·增量校验:查看已校验记录数、不一致记录数、不一致表数量。

五、数据校验结果汇总

数据校验结果的汇总信息如下表所示:

·全量校验

项目 详情
概要 校验方式:可选方式为完整校验、抽样校验和行数校验。状态:当前校验任务的状态,为创建完成、等待运行、运行中或者已完成。对比结论:当前校验任务的运行结果,为不一致或者一致。线程数:当前任务配置的线程数。开始时间:当前任务的开始时间。结束时间:当前任务的结束时间。
数据库信息校验 校验结果:当前数据库信息的校验结果,为不一致或者一致。
数据校验 校验结果:当前数据校验结果,为不一致或者一致。
预估集合总数 系统预计的需要校验的所有的集合的总数。
已检测集合数 任务当前已经完成检测的集合的数量。
不一致集合数 已经完成检测的集合中,源和目标端不一致的集合的数量。你可以在操作列下方,根据业务需要单击查看,查看不一致详情。
已跳过集合数 任务当前跳过检测的集合的数量。

·持续增量校验

项目 详情
概要 起始位点:增量校验的开始时间。当前位点:增量校验的当前时间。
已校验记录数 任务当前已经完成检测的集合的数量。
不一致记录数 已经完成检测的集合中,源和目标端不一致的集合的数量。你可以在操作列下方,根据业务需要单击查看,查看不一致详情。
不一致表数量 已经完成检测的表中,源和目标端不一致的表的数量。
赞 (0)
上一篇 4天前
下一篇 4天前