yun

流计算 Oceanus 支持使用 Python 开发 Flink 作业，可以以在 Python 环境中使用 Flink 的所有功能，在降低开发门槛的同时，发挥 Python 在数据处理、机器学习领域的生态优势。
本章节主要提供在独享集群上开发 Python 作业的指南。通过阅读本章节，你将学习到以下内容。

消息队列 TDMQ RabbitMQ（TDMQ for RabbitMQ，以下简称 RMQ）是一款腾讯自主研发的消息队列服务，支持 AMQP 0-9-1 协议，完全兼容开源 RabbitMQ 的各个组件，可以用作数据目的（Sink）。用户可以通过 Flink 算子把流数据导入到 RMQ 的某个 Queue 中。

tdsql-subscribe connector 是针对腾讯云 TDSQL-MySQL 数据订阅的专有 connector，通过 数据订阅 功能接入 TDSQL-MySQL 的增量 binlog 数据，使用前请确保数据订阅任务已经配置成功。

可以以在 Oceanus SQL 作业中配置 Hive Catalog、查看 Hive 元数据、使用 Hive Catalog。将元数据信息保存到 Hive Metastore 以后，在作业中无需再显式声明 DDL 语句，直接三段式引用元数据即可。

流计算 Oceanus 支持批作业开发，目前批作业支持以下作业类型：SQL 作业、JAR 作业、Python 作业。

目前使用 Flink CDC Connector 做数据同步时，每个表都需要建立一个数据库连接，在多表、整库同步等场景下，对数据库实例的压力非常大，Oceanus 引入了多 Source 复用的优化来解决这种问题。

用户通常需要花费大量的时间对作业进行调优。例如新上线一个作业时，需要考虑如何配置该作业的并行度、TaskManager 个数、TaskManager CU 数等。此外，作业运行过程中，还需要考虑如何调整作业资源配置，提升作业的资源利用率；而作业出现反压或延时增大的情况时，需要考虑增大作业资源配置等。

CREATE TABLE hudi_sink( uuid VARCHAR(20) PRIMARY KEY NOT ENFORCED, name VARCHAR(10), age INT, ts TIMESTAMP(3), `partition` VARCHAR(20)) WITH ( ‘connector’ = ‘hudi’ , ‘path’ = ‘hdfs://HDFS1000/data/hudi/mor’ , ‘。

可以作为 Source/Sink 使用。其中，作为 source 使用时，不支持 upsert 写入的源 Iceberg。

这篇说说腾讯云Oceanus连接DLC的Iceberg-inlong连接器，支持Flink 1.13⁄1.16⁄1.18⁄1.20版本作为Sink写入DLC托管原生表，并详细说明DDL定义、WITH参数配置及元数据加速桶的操作流程。 DDL定义与WITH参数：需配置connector、catalog-database、catalog-table等必填参数，以及DLC的secret-id、secret-key、regi。