流计算 Oceanus Paimon 连接器

一、前置准备

·已部署可用的 Paimon catalog，支持 filesystem 与 hive 两种 metastore。

·使用 filesystem metastore 时，作业运行环境需可访问 warehouse 目录，并具备读写权限。

·使用 hive metastore 时，需提供 Hive metastore 服务地址，并保证网络可访问。

二、版本说明

三、使用范围

可作为 Sink（type: paimon）使用。

四、快速示例

从 MySQL 同步到 Paimon：

source: type: mysql name: MySQL Source hostname: 127.0.0.1 port: 3306 username: admin password: pass tables: adb.\\.* server-id: 5401-5404sink: type: paimon name: Paimon Sink catalog.properties.metastore: filesystem catalog.properties.warehouse: /path/warehousepipeline: name: MySQL to Paimon Pipeline parallelism: 2

使用 Hive metastore 并指定分桶：

sink: type: paimon name: Paimon Sink catalog.properties.metastore: hive catalog.properties.uri: thrift://127.0.0.1:9083 catalog.properties.warehouse: hdfs:///path/warehouse table.properties.bucket: 4

五、Sink 配置项

Sink 侧的时区取自 pipeline 配置 local-time-zone，未配置时使用作业运行环境的系统时区。

六、分区表

通过 partition.key 可以为目标表指定分区字段。多条配置之间用英文分号（;）分隔，

表名与分区字段之间用英文冒号（:）分隔，同一张表的多个分区字段之间用英文逗号（,）分隔。

sink: type: paimon partition.key: testdb.table1:id1,id2;testdb.table2:name

配置时需要注意：

·分区字段会被自动并入主键。即使源表未把这些字段声明为主键，建出的 Paimon 表也会包含它们作为主键的一部分，且这些列会被设为 NOT NULL。源表中该字段存在空值时，请谨慎选择为分区字段。

·表名需要与上游表的标识一致，格式为 namespace.tableName。

·配置了 partition.key 时，优先使用这里的分区字段；未配置时使用上游表结构自带的分区字段。

七、表结构变更同步

Paimon Sink 支持下列表结构变更：

需要注意：

·上游需要开启表结构变更事件的发送，下游才能感知并同步。以 MySQL 为例，需要开启 Source 侧的 schema-change.enabled。

·新增或修改列时，若列的默认值为 0000-00-00 00:00:00，时间戳类型的列会被改写为 1970-01-01 00:00:00，避免写入非法时间值。

八、自动建表

上游表不存在时，连接器会自动创建对应的 Paimon 表，规则如下：

·数据库不存在时自动创建。

·列的类型按下表「数据类型映射」转换，并保留列注释。

·主键取自上游表的主键；若配置了 partition.key，分区字段会追加到主键中。

·表注释取自上游表的注释。

·table.properties.* 指定的参数会写入表属性，对所有新建表生效。

·上游表没有主键时，创建的是无主键表。无主键表按追加方式写入，只有包含主键的表才能正确处理上游的 UPDATE 与 DELETE 事件，因此建议同步有主键的源表。

九、数据类型映射