注意:新建集群已支持单个作业同时使用多个外部 Catalog。若你当前集群版本暂不支持该功能,请提交工单申请升级集群。
一、使用方法
创建外部 Catalog 的方法可以参考库表管理。
SQL 作业使用多 Catalog 可以参考下面代码:
– 1. 定义Paimon目的表CREATE TABLE IF NOT EXISTS `116-paimon-sink1`.`default`.`HiveSink` ( id INT PRIMARY KEY NOT ENFORCED, — Paimon需要主键,id作为主键 name STRING ) WITH ();– 2. 定义Hive源表CREATE TABLE IF NOT EXISTS `hive116-1`.`default`.`source` ( id INT, name STRING, dt STRING, hr STRING) PARTITIONED BY (dt, hr)WITH 'connector' = 'hive', 'hive-version' = '3.1.1', 'hive-database' = 'default', 'partition.time-extractor.timestamp-pattern'='$dt $hr:00:00', 'sink.partition-commit.trigger'='partition-time', 'sink.partition-commit.delay'='10 min', 'sink.partition-commit.policy.kind'='metastore,success-file');INSERT INTO `116-paimon-sink1`.`default`.`HiveSink`SELECT id, `name` FROM `hive116-1`.`default`.`source`;