数据开发治理平台 WeData 转换节点配置（离线同步任务配置与运维）

一、读写节点配置

数据库类型	读取节点	写入节点
关系型数据库	MySQL 离线节点（读取）	MySQL 离线节点（写入）
	TDSQL-C Mysql 离线节点（读取）	TDSQL-C Mysql 离线节点（写入）
	PostgreSQL 离线节点（读取）	PostgreSQL 离线节点（写入）
	TCHouse-P 离线节点(读取)	TCHouse-P 离线节点(写入)
	TDSQL-PostgreSQL 离线节点（读取）	TDSQL-PostgreSQL 离线节点（写入）
	SQL Server 离线节点（读取）	SQL Server 离线节点（写入）
	Oracle 离线节点（读取）	Oracle 离线节点（写入）
	DB2 离线节点（读取）	DB2 离线节点（写入）
	DM 离线节点（读取）	DM 离线节点（写入）
	SAP HANA 离线节点（读取）	SAP HANA 离线节点（写入）
	SAP IQ（sybaseIQ）离线节点（读取）	SAP IQ（sybaseIQ）离线节点（写入）
大数据	HIVE 离线节点（读取）	Hive 离线节点（写入）
	HBase 离线节点（读取）	HBase 离线节点（写入）
	Clickhouse 离线节点（读取）	Clickhouse 离线节点（写入）
	DLC 离线节点（读取）	DLC 离线节点（写入）
	Kudu 离线节点（读取）	Kudu 离线节点（写入）
	HDFS 离线节点（读取）	HDFS 离线节点（写入）
	Greenplum 离线节点（读取）	Greenplum 离线节点（写入）
	GaussDB 离线节点（读取）	GaussDB 离线节点（写入）
	Gbase 离线节点（读取）	Gbase 离线节点（写入）
	TBase 离线节点（读取）	TBase 离线节点（写入）
	Iceberg 离线节点（读取）	Iceberg 离线节点（写入）
	StarRocks 离线节点（读取）	StarRocks 离线节点（写入）
	Impala 离线节点（读取）	Impala 离线节点（写入）
	Doris 离线节点（读取）	Doris 离线节点（写入）
消息列表	Kafka 离线节点（读取）	Kafka 离线节点（写入）
NoSQL	Mongo 离线节点（读取）	Mongo 离线节点（写入）
	Elasticsearch 离线节点（读取）	Elasticsearch 离线节点（写入）
	–	Redis 离线节点（写入）
半结构化	COS 离线节点（读取）	COS 离线节点（写入）
	FTP 离线节点（读取）	FTP 离线节点（写入）
	SFTP 离线节点（读取）	SFTP 离线节点（写入）
	Rest API 离线节点（读取）	–

二、字符串替换

字符串替换节点主要使用 Java 正则表达式对字符串字段的内容进行匹配与替换，本节点将在字段内容全部或部分匹配字符串时执行替换操作。
转换规则参数说明如下：

参数	说明
字段	选择需要进行字符串匹配的字段。本节点处理的字段必须为字符串类型。说明：本转换节点中，可对同一个字段配置多个转换规则。多个规则之间将根据配置顺序串行。
正则表达式	用于匹配原字段内容的 Java 正则表达式。
新字符串	对命中的字段内容替换成指定新字符串。
替换方式	支持仅替换第一个匹配结果或全部替换。
删除	删除本行规则。

三、时间格式转换

时间格式转换节点主要用于对表中时间字段转换为目标格式，如将 yyyymmdd 时间格式转换为 yyyymmdd hh:mm:ss 格式。
转换规则参数说明如下：

参数	说明
字段	选择需要进行时间格式匹配的字段，字段需为 datetime、time、timestamp，date 等类型。说明：本转换节点中，可对同一个字段配置多个转换规则。
源时间格式	指定本字段时间格式，若指定格式与实际格式不符合将不进行转换，数据处理为脏数据。
目标时间格式	对于每条记录，若当前字段与指定的源目标格式一致，系统将会把源时间格式转为目标格式。
删除	删除本行规则。

注意：说明：

注意：目前本节点仅支持离线同步任务。

四、值转换

值转换节点主要用于对字段的内容进行标准化处理，本节点将在字段内容与指定内容完全相等时执行替换操作，替换后原字段内容将被更新。如将“CHINA”统一替换成“CHN”。
转换规则参数说明如下：

参数	说明
字段	选择需要进行时间格式匹配的字段，字段默认来源于上游字段，支持对所有上游字段进行处理。说明：本转换节点中，可对同一个字段配置多个转换规则。
匹配值	用于判断原字段是否等于该指定值。若相等，将执行替换行为替换值。
替换值	值转化目标，不可为空。
删除	删除本行规则。