数据开发治理平台 WeData 离线节点高级参数

一、使用说明

·参数格式 ：参数名称=参数值（如 ignoreDirEmpty=TRUE）。

·参数适用范围 ：不同数据源支持的参数不同，请在对应数据源的离线同步任务中查看可用参数。

·参数大小写 ：参数名称区分大小写，请严格按照文档填写。

二、高级参数明细

三、1. 如何配置多个高级参数？

在离线同步任务配置的"高级参数"中，每个参数占一行，格式为 参数名称=参数值，例如：

ignoreDirEmpty=TRUEqueryTimeout=172800

四、2. 参数是否区分大小写？

是的，参数名称区分大小写，请严格按照文档中的参数名称填写。

五、3. 参数配置后多久生效？

高级参数在任务保存后生效，重启任务后配置生效。

六、实践示例

这篇档汇总常见的高级参数使用场景，帮助你快速解决离线同步任务中的问题。

七、示例1：MySQL 数据源连通性报错（时区问题）

报错摘要：

配置 MySQL 数据源后，测试连通性时报错，错误信息包含时区相关异常（如 The server time zone value 'XXX' is unrecognized）。

原因分析：

MySQL JDBC 连接需要指定时区参数 serverTimezone，若未配置或配置错误，会导致连接失败。WeData 高级参数中的 session 参数可用于设置时区。

参数配置：

在离线同步任务的"高级参数"中，添加以下配置（读取端和写入端均需配置）：

session=["SET time_zone='+08:00'"]

注意：说明：

注意：+08:00 表示东八区（中国时区），请根据实际业务需求调整。

八、示例2：Doris 数据同步出现数据重复

报错摘要：

Doris 数据同步任务执行成功后，查询目标表发现数据重复（数据条数大于源端）。

原因分析：

Doris 写入时需要正确配置主键模式（sameNameWildcardColumn），若未配置或配置不正确，会导致数据重复写入而非更新。

参数配置：

在离线同步任务目标端（Doris）的"高级参数"中，添加以下配置：

sameNameWildcardColumn=TRUE

注意：说明：

注意：该参数用于支持同名字段映射，避免数据重复写入。

九、示例3：读取空文件时作业报错

报错摘要：

离线同步任务读取 COS/SFTP/HDFS 等文件系统时，若源端文件路径下没有文件或只有空文件，任务报错失败。

原因分析：

默认情况下，WeData 要求源端文件路径下必须存在有效文件，否则任务会报错。若业务场景允许空文件或空目录，需配置忽略参数。

参数配置：

根据数据源类型，在离线同步任务读取端的"高级参数"中，添加以下配置：

·COS/S3/FTP/SFTP/HDFS 读取端：

ignoreDirEmpty=TRUEignoreFileNotFound=TRUE

·文件传输模式（允许同步空文件）：

transEmpFile=TRUE

注意：说明：

十、示例4：DLC 空字符串写入为 NULL 导致数据不一致

报错摘要：

使用 DLC 作为源端进行数据同步时，源端的空字符串（''）在写入目标端后变成 NULL，导致源端与目标端数据不一致。

原因分析：

DLC 底层存储机制会将空字符串写入为 NULL 值。若不配置 ignoreNullFormat 参数，WeData 会默认将源端的空字符串以 NULL 值写入目标端。

参数配置：

在离线同步任务源端（DLC 读取端）的"高级参数"中，添加以下配置：

ignoreNullFormat=TRUE

注意：说明：

注意：配置该参数后，源端的空字符串将以空字符串形式写入目标端，而非 NULL 值。

十一、示例5：MySQL 日期字段为 '0000-00-00 00:00:00' 时读取异常

报错摘要：

MySQL 源端表中存在日期字段值为 0000-00-00 00:00:00 时，离线同步任务读取报错（如 Cannot convert value '0000-00-00 00:00:00' from column X to TIMESTAMP）。

原因分析：

MySQL JDBC 驱动默认不支持将 0000-00-00 00:00:00 转换为合法的 TIMESTAMP 值。需通过 session 参数设置 SQL 模式，允许非法日期值。

参数配置：

在离线同步任务源端（MySQL 读取端）的"高级参数"中，添加以下配置：

session=["SET SESSION sql_mode='ALLOW_INVALID_DATES'"]

注意：说明：

十二、示例6：Kafka 生产者参数调优（batch.size、linger.ms）

报错摘要：

使用 WeData 将数据写入 Kafka 时，发现吞吐量较低，或希望优化 Kafka 生产者的批量发送行为。

原因分析：

Kafka 生产者有两个关键参数影响批量发送性能：

·batch.size：每个批次可使用的内存字节数，默认 16384（16KB）。

·linger.ms：发送前等待更多消息加入批次的时间（毫秒），默认 0（立即发送）。

参数配置：

在离线同步任务目标端（Kafka 写入端）的"高级参数"中，添加以下配置：

kafkaConfig={"batch.size":"32768","linger.ms":"100"}

注意：说明：