云数据库 MySQL 控制数据加载速度

在进行数据全量加载的时候,会对云数据库 MySQL 的主实例造成一定的资源开销,特别是在数据量较大的实例中做一次性的数据加载时,此操作针对一些资源比较紧张的实例,在一定程度上会影响主实例的性能稳定性。可通过如下几种方式去控制在数据加载过程中对云数据库 MySQL 主实例的影响,降低对源端的资源消耗。但是此类操作会导致数据从行存加载为列式存储的效率降低。所以请根据业务实际情况进行调整。

相关产品
云数据库 MySQL 产品页,含版本规格、价格与购买入口。

一、前提条件

·准备好云数据库 MySQL 实例,请参见 创建 MySQL 实例。

·实例状态为运行中。

·已 加载数据到只读分析引擎。

二、控制数据加载速度

·调整全量数据加载场景下,单表数据读出并发数量

通过调整参数功能,修改 replication_dumper_select_parallel 参数。此参数代表同时可对同一个对象进行数据读出的并发度。此值越大,对表的数据读取范围更大,在资源充足场景下,加载效率则会更高。如果资源不足,建议将此值设置得更小。操作请参见 设置实例参数。

·调整全量数据加载场景下,单表数据读出行数

通过调整参数功能,修改 replication_dumper_chunk_size 参数。此参数代表每一次对同一个对象进行数据单次读出的数据行数。此值越大,代表每一次读出的数据越多。在资源充足场景下,加载效率则会越高。如果资源不足,建议将此值设置得更小。操作请参见 设置实例参数。

·调整全量数据加载场景下,总的数据读出并发

通过调整参数功能,修改 replication_dumper_table_parallel 参数。此参数代表同时可对多少张表同时进行数据读出,此值越大,同时可读出数据的表数量越多,在资源充足的情况下,数据加载的效率就更快。操作请参见 设置实例参数。

赞 (0)
上一篇 4天前
下一篇 4天前