数据开发治理平台 WeData MySQL 实时同步至 TChouse-D 指引

一、数据源兼容情况。

二、MySQL 环境准备。

三、TChouse-D 环境准备。

四、项目配置及资源组准备。

六、实时单表：MySQL 同步至 TChouse-D 配置步骤。

七、实时节点高级参数。

八、常见问题。

二、MySQL 数据源

如果你想使用 MySQL 进行实时数据同步操作，需要先确认 MySQL 数据源版本支持情况、使用限制及支持的数据类型转换。

三、支持版本

目前数据集成已支持 MySQL 单表及整库级实时读取，使用实时读取能力需遵循以下版本限制：

四、使用限制

·需要开启 Binlog 日志，仅支持同步 MySQL 服务器 Binlog 配置格式为 ROW。

·无主键的表由于无法保证 exactly once 可能会有数据重复，因此实时同步任务要保证有主键。

·不支持 XA ROLLBACK，实时同步的任务不会针对 XA PREPARE 的数据进行回滚的操作，若要处理 XA ROLLBACK 场景，需要手动将 XA ROLLBACK 的表从实时同步任务中移除，再添加表后重新进行同步。

·设置 MySQL 会话超时：

当为大型数据库制作初始一致快照时，你建立的连接可能会在读取表时超时。你可以通过在 MySQL 配置文件中配置 interactive_timeout 和 wait_timeout 来防止这种行为。

·interactive_timeout：服务器在关闭交互式连接之前等待其活动的秒数。请参阅 MySQL :: MySQL 8.0 Reference Manual :: 7.1.8 Server System Variables。

·wait_timeout：服务器在关闭非交互式连接之前等待其活动的秒数。请参阅 MySQL :: MySQL 8.0 Reference Manual :: 7.1.8 Server System Variables。

五、MySQL 读取数据类型转换

MySQL 读取支持的数据类型以及内部映射字段如下所示（在处理 MySQL 时，会先将 MySQL 数据源的数据类型和数据处理引擎的数据类型做映射）：

七、支持版本

目前数据集成已支持 Doris 单表及整库实时写入，使用实时同步能力需遵循以下版本限制：

八、使用限制

·Doris 支持 [DUPLICATE KEY|UNIQUE KEY|AGGREGATE KEY] 三种数据模型，若需以 Upsert 方式写入 Doris，需要确保数据模型为 UNIQUE KEY，详情请参见 数据模型 – Apache Doris。

·来源表有主键时自动创建的 Doris 目标表为 UNIQUE KEY；来源表无主键时自动创建的 Doris 目标表为 DUPLICATE KEY。

十、确认 MySQL 版本

数据集成对 MySQL 版本有要求，查看当前待同步的 MySQL 是否符合版本要求。你可以在 MySQL 数据库通过如下语句查看当前 MySQL 数据库版本。

select version();

十一、设置 MySQL 服务器权限

你必须定义一个对 Debezium MySQL 连接器监控的所有数据库具有适当权限的 MySQL 用户。

1. 创建 MySQL 用户（可选）

mysql> CREATE USER 'user'@'localhost' IDENTIFIED BY 'password';

2. 向用户授予所需的权限:

在实时数据同步的情况下，该账号必须拥有数据库的 SELECT、REPLICATION SLAVE 和 REPLICATION CLIENT 权限。执行命令可以参考下面：

mysql> GRANT SELECT, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'user'@'localhost' IDENTIFIED BY 'password';

注意：说明：

注意：启用 scan.incremental.snapshot.enabled 时不再需要 RELOAD 权限（默认启用）。

3. 刷新用户的权限：

mysql>FLUSH PRIVILEGES;

查看更多关于 权限说明。

十二、开启 MySQL Binlog

1. 检查 binlog 是否开启

show variables like "log_bin"

返回结果为 ON 时，表示已经开启 Binlog， 如果为备库，使用如下语句：

show variables like "log_slave_updates";

如果返回为 ON 时，表示已经开启 Binlog，如果已经开启 Binlog，可跳过下面流程。

2. 开启 Binlog

如果确认没有开启 Binlog，则需要进行以下操作。

·对于腾讯云实例 MySQL / TDSQL-C MySQL，默认开启了 binlog。

·对于开源 MySQL，参考产品文档开启 binlog。

3. binlog_row_image

实时同步仅支持同步 MySQL 服务器 binlog_row_image 配置格式为 FULL or full。

3.1 使用如下语句查询 binlog_row_image 的使用格式。

show variables like "binlog_row_image";

3.2 如果返回非 FULL/full 请修改 binlog_row_image：

·对于开源 MySQL 参考产品文档：MySQL :: MySQL 8.0 Reference Manual :: 19.1.6.4 Binary Logging Options and Variables。

·对于腾讯云实例 MySQL / TDSQL-C MySQL：

·登录腾讯云 MySQL / TDSQL-C MySQL 控制台，找到要开启 Binlog 的实例，单击进入该实例的详细信息页面。

·在上面选项卡中选择数据库管理，找到参数设置选项卡。

·在参数设置选项卡中，找到 binlog_row_image 参数，将其设置为“FULL”。

十三、开启 GTIDs（可选）

GTID（Global Transaction Identifier， 全局事务标识），用于在 binlog 中唯一标识一个事务，使用 GTID 可以避免事务重复执行导致数据混乱或者主从不一致。

1. 检查是否开启了 GTID

show global variables like '%GTID%';

返回结果类似如下，证明已经开启 GTID。

+————————–+——-+
| Variable_name | Value |
+————————–+——-+
| enforce_gtid_consistency | ON |
| gtid_mode | ON |
+————————–+——-+

2. 开启 GTID

·对于开源 MySQL，参考产品文档 MySQL :: MySQL 8.0 Reference Manual :: 19.1.4.2 Enabling GTID Transactions Online。

·对于腾讯云实例 MySQL / TDSQL-C MySQL，默认为开启，不支持关闭。

十四、添加腾讯云 MySQL 数据库安全组

安全组是一种有状态的包含过滤功能的虚拟防火墙，用于设置单台或多台云数据库的网络访问控制，是腾讯云提供的重要的网络安全隔离手段。如果你不配置安全组，在 WeData 中配置 MySQL 数据源的时候可能会出现连通性测试失败的情况。具体操作可参见 管理云数据库安全组。

118.89.220.0/24, 139.199.116.0/24, 140.143.68.0/24, 152.136.131.0/24, 81.70.150.0/24, 81.70.161.0/24, 81.70.195.0/24, 81.70.198.0/24, 82.156.22.0/24, 82.156.221.0/24, 82.156.23.0/24, 82.156.24.0/24, 82.156.27.0/24, 82.156.82.0/24, 82.156.84.0/24, 82.157.119.0/24

十六、数据库环境配置

1. 检查 Doris/TChouse-D 数据库网络和数据集成资源组网络连通性。

参考数据源配置中的连通性测试，确保数据集成资源组可正常访问 Doris/TChouse-D 数据库。

2. 检查待写入 Doris/TChouse-D 表的数据模型。

Doris/TChouse-D 写入支持 Append/Upsert 两种模式，若想以 Upsert 模式写入，需要确保 Doris/TChouse-D 数据模型为 Unique key。具体可在 SQL 客户端执行如下 SQL ：

show create table example_db.table_hash;// 执行上述 SQL 后的结果CREATE TABLE example_db.table_hash( k1 BIGINT, k2 LARGEINT, v1 VARCHAR(2048), v2 SMALLINT DEFAULT "10")UNIQUE KEY(k1, k2)DISTRIBUTED BY HASH (k1, k2)// 若为 Unique key 模型，会在结果中出现关键词：UNIQUE KEY

3. 创建 Doris/TChouse-D 表。

·创建明细模型表。

CREATE TABLE example_db.table_hash( k1 TINYINT, k2 DECIMAL(10, 2) DEFAULT "10.5", k3 CHAR(10) COMMENT "string column", k4 INT NOT NULL DEFAULT "1" COMMENT "int column")COMMENT "my first table"DISTRIBUTED BY HASH(k1)

·创建主键唯一模型表。

CREATE TABLE example_db.table_hash( k1 BIGINT, k2 LARGEINT, v1 VARCHAR(2048), v2 SMALLINT DEFAULT "10")UNIQUE KEY(k1, k2)DISTRIBUTED BY HASH (k1, k2)

详情可参考：CREATE-TABLE – Apache Doris

十七、四、项目配置及资源组准备

在正式配置同步任务之前，需要创建一个项目。如下基于一个全新的环境讲解相关步骤，如果你已经创建了项目成员或完成了项目创建可以跳过。

十八、项目创建

如果你还没有在数据开发治理平台 WeData 创建过项目空间，在进行数据同步任务之前需完成项目创建。

1. 主账号人员进入 CAM 控制台添加子账号，可以参考 准备 CAM 子账号，创建后，该成员便可以使用设置的子账号登录 WeData 大数据平台。

2. 创建项目空间，需要进入 WeData 首页，单击项目列表 > 创建项目。 如果只是做数据集成，此处可以选择仅创建项目，输入项目标识和名称即可。

十九、添加成员

创建完的项目只有项目所有者和主账号有权限进入。其他子账号若想进入需要由项目所有者或主账号在项目管理模块添加成员。详情请查看 项目管理。

1. 单击项目管理 > 成员与角色管理，进入成员与角色管理界面，单击添加按钮。

2. 在添加成员界面，为新创建的成员设置所需角色，设置完成后，该成员便可以进入项目了。

21、确认资源组是否配置

在正式进行数据集成任务之前，请确认你所在的项目是否已配备集成资源。

·如果提示未配置集成资源，则无法正常运行数据集成任务。

·当你创建完新项目，在执行资源组这一列会显示集成资源未配置，只需要前往 WeData 首页执行资源组 > 集成资源组为新项目关联资源即可。

进入集成资源组界面，点击对应资源组后的关联项目。

22、集成资源组购买

如果发现目前没有集成资源组，需要前往购买。集成资源组是在运行数据集成任务时专享使用到的计算资源，本资源主要以资源组形式展现。在配置同步任务之前需要确认是否购买了数据集成资源组。详情请参见 配置集成资源组。

23、网络连通性确认

需要保证数据源网络（包括读端、写端）与数据集成资源组之间网络互通，且资源不可因为白名单限制等原因被拒绝访问，否则无法完成数据传输同步。

数据集成资源组内包含的机器资源默认需处于同一 VPC 网络环境下：

·若数据源开通公网：需要购买并创建 NAT 网关，允许集成资源通过网关连通数据源所在 VPC，详细操作请参见 NAT 网关 相关文档。

·若数据源处于 VPC 内：

·若与集成资源位于同一 VPC：可直接使用。

·若与集成资源位于不同 VPC：需购买云联网打通集成与数据源所在 VPC。

·若数据源位于 IDC 或其他经典网络环境下：需购买 VPN 或 专线网关 打通集成与数据源所在 VPC。

注意：说明：

注意：关于集成资源组配置与管理相关文档可查看 集成资源配置与管理。

25、MySQL 数据源配置

进入配置数据源界面，MySQL 数据源支持云实例和连接串两种连接方式。

单击项目管理 > 数据源管理 > 新建数据源 > 选择 MySQL 数据源。（也可以直接选择腾讯云MySQL数据源类型）

·通过连接串创建数据源。

参数说明如下：

26、TChouse-D数据源配置

WeData 目前支持通过云实例方式引入TChouse-D数据源。

单击项目管理 > 数据源管理 > 新建数据源 > 选择 TChouse-D 数据源。

参数说明如下：

28、步骤一：创建整库迁移任务

登录打开 WeData 后，进入数据集成模块，然后单击配置中心 > 实时同步任务页面后，单击新建整库迁移任务。

29、步骤二：链路选择

在链路选择界面，选择 MySQL > Doris链路，选择完成后，单击下一步。

30、步骤三：数据来源设置

31、步骤四：数据目标设置

32、步骤五：运行设置

集成资源配置：

·为当前任务关联对应的集成资源组，同时设定运行时 JM、TM 规格以及任务运行并行度。其中，当前任务实际运行时实际占用 CU 数 = JobManager 规格 + TaskManager 规格 × 并行度。

·资源分配方式：集成资源支持多种分配方式

·固定分配：此方式下不区分任务同步阶段，全量及增量同步过程中始终为当前任务分配固定资源量。此方式可避免任务间资源抢占，适用于任务运行过程中数据可能存在较大变动的场景。

·按同步阶段分配：按全量和增量不同同步阶段分配计划的资源使用量，以节约整体资源用量。

·表及字段变更策略：

如下是上表中支持的策略和表现效果：

写入异常策略：

DLC 整库同步任务提供任务级运行资源及数据失败写入处理策略。其中数据写入失败处理策略支持四种：

注意：场景示例：

注意：任务 Task1 下计划同步50张表，任务运行过程中表 A 内出现新增字段或字段类型变更：

33、步骤六：配置预览

通过配置预览，你可以一次性查看链路选择、数据来源设置、数据目标设置、运行设置所配置的全部结果，以确保任务配置信息的准确、合理。

34、步骤七：任务配置检测与提交

当完成上面六个步骤，可以进行任务配置检测和正式提交任务，此时可以单击左上角的提交按钮，进入任务配置检查和提交阶段。

任务配置检测支持的检测项：

不同的任务运行状态支持的提交运行策略：

35、步骤八：实时任务运维

内容请参见 实时运维操作。

36、六、实时单表：MySQL 同步至 TChouse-D

当业务只需要关注某个特定表的数据时，单表同步可以针对性地同步特定表的数据，这样可以减少不必要的数据处理和传输，提高同步效率。

在数据集成页面左侧目录栏单击实时同步，在实时同步页面上方选择单表同步新建并进入配置页面。配置单表同步时支持两种模式：单表模式和画布模式。后续以表单模式为例讲解配置流程。

37、步骤一：配置 MySQL 读取节点

1. 在数据集成页面左侧目录栏单击实时同步。

2. 在实时同步页面上方选择单表同步新建（可选择表单和画布模式）并进入配置页面。

3. 选择 MySQL 节点并配置节点信息。

4. 参数信息如下表：

5. 预览数据字段，单击保存。

38、步骤二：配置 TChouse-D 写入节点

1. 在数据集成页面左侧目录栏单击实时同步。

2. 在实时同步页面上方选择单表同步新建（可选择表单和画布模式）并进入配置页面。

3. 选择 TChouse-D 节点并配置节点信息。

4. 参数信息如下表：

39、步骤三：任务配置检测与提交

当完成上面的步骤，可以进行任务配置检测和正式提交任务，此时可以查看任务配置界面左上角的相关按钮进行后续提交操作。每一个按钮的位置和功能如下：

实时同步任务在配置完成后可配置运行策略并提交到生产环境中运行。目前可在任务配置页面支持保存、提交、锁定/解锁、前往运维及表单/画布转换操作。

40、任务配置检测

任务提交时会进行基础环境和配置检测，请重点关注未通过项和警告项。未通过项大概率会导致任务运行失败，警告项请结合业务情况判断影响。当前检测结果不会阻断任务提交，你可选择重新检测或忽略异常继续提交。

当前支持的检测项：

41、提交策略选择

正常提交或忽略异常提交后会进入提交策略选择页面，用户可根据业务需求选择不同的运行策略：

不同的任务运行状态支持的提交运行策略有所差异：

同时，每次提交都将新生成一个实时任务版本，你可在对话框内配置版本描述。

42、提交结果

单击上图提交按钮后，会出现提交进度和提交结果：

·任务提交中：

·展示提交进度百分比。

·任务提交结果 – 成功：

·展示任务提交成功结果。

·可前往运维进行任务运维管理或返回任务列表

·任务提交结果 – 失败：

·展示任务提交失败原因

43、步骤四：实时任务运维

内容请参见 实时运维操作。

44、七、实时节点高级参数

在配置读写节点时，可以配置高级设置，配置内容和使用场景如下所示：

45、MySQL 类型节点级别

如下为 MySQL 来源端在使用场景下支持的高级设置及其描述：

46、Doris/TCHouse-D 类型节点级别

如下为 Doris/TCHouse-D 目标端在使用场景下支持的高级设置及其描述：

48、1. MySql serverid 冲突

错误信息：

com.github.shyiko.mysql.binlog.network.ServerException: A slave with the same server_uuid/server_id as this slave has connected to the master。

解决办法：目前已经优化增加随机生成 serverid，之前的任务中如果在 mysql 高级参数中显示指定了 server-id 建议删除，因为可能多个任务使用了相同的数据源，并且 server-id 设置的相同导致冲突。

49、2. 报 binlog 文件找不到错误信息：

错误信息：

Caused by: org.apache.kafka.connect.errors.ConnectException: The connector is trying to read binlog starting at GTIDs xxx and binlog file 'binlog.xxx', pos=xxx, skipping 4 events plus 1 rows, but this is no longer available on the server. Reconfigure the connector to use a snapshot when needed。

错误原因：

作业正在读取的 binlog 文件在 MySQL 服务器已经被清理时，会产生报错。导致 Binlog 清理的原因较多，可能是 Binlog 保留时间设置的过短；或者作业处理的速度追不上 Binlog 产生的速度，超过了 MySQL Binlog 文件的最大保留时间，MySQL 服务器上的 Binlog 文件被清理，导致正在读的 Binlog 位点变得无效。

解决办法：如果作业处理速度无法追上 Binlog 产生速度，可以考虑增加 Binlog 的保留时间也可以优化作业减轻反压来加速 source 消费。如果作业状态没有异常，可能是数据库发生了其他操作导致 Binlog 被清理，从而无法访问，需要结合 MySQL 数据库侧的信息来确定 Binlog 被清理的原因。

50、3. MySQL 报连接被重置

错误信息：

EventDataDeserializationException: Failed to deserialize data of EventHeaderV4 …. Caused by: java.net.SocketException: Connection reset。

错误原因：

1. 网络问题。

2. 作业存在反压，导致 source 无法读取数据，binlog client 空闲，如果 binlog 连接在超时后仍然空闲 mysql 服务器会断开空闲的连接。

解决方法：

1. 如果是网络问题，可以调大 mysql 网络参数 set global slave_net_timeout = 120; (默认30s) set global thread_pool_idle_timeout = 120。

2. 如果是作业反压导致，可以通过调节作业减轻反压，例如增加并行度，提升写入速度，提升 taskmanager 内存减少 gc。

51、4. Mysql2dlc 任务 JobManager Oom

错误信息：

1. 用户数据量比较大，可以调大 jobmanager CU 数，使用 mysql 高级参数 scan.incremental.snapshot.chunk.size 调大 chunk size 大小，默认是8096。

2. 用户数据量不大，但是主键最大值-最小值的差值却很大，导致使用均分 chunk 的策略时划分很多 chunk，修改分布因子，让用户数据走非均匀的数据切分逻辑，split-key.even-distribution.factor.upper-bound=5.0d，默认值分布因子已经修改为10.0d。

52、5. 用户的 binlog 数据格式不对，导致 debezium 解析异常

错误信息：

ERROR io.debezium.connector.mysql.MySqlStreamingChangeEventSource [] – Error during binlog processing. Last offset stored = null, binlog reader near position = mysql-bin.000044/211839464.
2023-02-20 21:37:28.480 [blc-172.17.48.3:3306] ERROR io.debezium.pipeline.ErrorHandler [] – Producer failure io.debezium.DebeziumException: Error processing binlog event.

解决方法：

修改 binlog_row_image=full 后需要重启数据库。

53、6. 是否支持 gh-ost？

支持，不会迁移 Online DDL 变更产生的临时表数据，只迁移源库使用 gh-ost 执行的原始 DDL 数据，同时你可以使用默认的或者自行配置 gh-ost 影子表和无用表的正则表达式。

54、7. Doris 规格如何选型及调优？

请参考 Doris 资源规格选型及调优建议。

55、9. 导入任务过多，新导入任务提交报错 “current running txns on db xxx is xx, larger than limit xx ”？

调整 fe 参数 : max_running_txn_num_per_db，默认100，可适当调大，建议控制在500以内。

56、10. 导入频率太快出现 err=[E-235] 错误？

·参数调优建议：可通过适当调大 max_tablet_version_num 参数暂时解决，此参数默认200，建议控制在2000以内。

·业务调优建议：降低导入频率才能根本解决这个问题。

57、11. 导入文件过大，被参数限制。报错 “The size of this batch exceed the max size ”？

调整 be 参数 : streaming_load_max_mb，建议超过需要导入的文件大小。

58、12. 导入数据报错：“[-238]”？

·原因：-238 错误通常出现在同一批导入数据量过大的情况，从而导致某一个 tablet 的 Segment 文件过多（由 ）。

·参数调优建议：可适当调大BE参数max_segment_num_per_rowset ，此参数默认值200，可按倍数调大（如400、800），建议控制在2000以内；

·业务调优建议：建议减少一批次导入的数据量。

59、13. 导入失败，报错：“too many filtered rows xxx, "ErrorURL":"或 Insert has filtered data in strict mode, tracking url=xxxx.”？

原因：表的 schema、分区等与导入的数据不匹配。可在 TCHouse-D Studio 或客户端执行 doris 命令查看具体原因：show load warnings on `<tracking url>`，<tracking url> 即为报错信息中返回的 error url。网络