流计算 Oceanus 使用 Paimon Catalog

一、版本说明

二、创建 Paimon Catalog

切换到 _dc，单击新建 Paimon Catalog。

三、COS 元数据加速桶

相比普通 COS 桶，需要填写具有相应 Warehouse 权限的用户名。

四、EMR

需要先登录 EMR 集群下载 Hadoop 集群的 hdfs-site.xml 文件，以获取下列配置中所需的参数值，参考 登录集群。

HDFS 路径的形式为 hdfs://${dfs.nameservices}/${path}，${dfs.nameservices} 的值可在 hdfs-site.xml 中查找，${path} 为要写入的数据目录。

如果是多 Master 的 EMR 集群需要上传 hdfs-site.xml 可以用下面的命令将它打成 jar 包上传，不能直接上传配置文件。

jar -cvf emr-xxx.jar hdfs-site.xml

五、Hive

Hive 需要上传配置 jar 包，可以参考 Hive 配置。

六、引用 Paimon Catalog

CREATE TABLE IF NOT EXISTS `116-paimon-sink1`.`default`.`sink1` ( id INT PRIMARY KEY NOT ENFORCED, — Paimon需要主键，id作为主键 name STRING ) WITH (); Insert into `116-paimon-sink1`.`default`.`sink1` Select * FROM `mysql-116`.`test927`.`test`;

Table Hints（可选）

通过 Hints 动态覆盖表的配置项，无需修改表定义即可临时调整参数。

示例：可设置 local-merge-buffer-size，在数据按桶分区之前对输入记录进行缓冲和合并。

— Flink 1.13需要开启动态表选项（其他Flink版本不需要）SET 'table.dynamic-table-options.enabled' = 'true';Insert into `116-paimon-sink1`.`default`.`sink1` /*+ OPTIONS('local-merge-buffer-size' = '64mb') */ Select * FROM `mysql-116`.`test927`.`test`;

注意：说明：

注意：若需要添加多个参数，使用逗号分隔： /*+ OPTIONS( 'local-merge-buffer-size' = '64mb', 'write-buffer-size' = '256mb' ) */

七、修改 Paimon Catalog

不能修改 Catalog 名字和 Metastore 类型。

八、删除 Paimon Catalog

可以单击该按钮进行删除。

注意：删除之后，关联该 Catalog 的作业会出现启动失败。