流计算 Oceanus 开发 CDC 数据同步作业

这篇说说腾讯云流计算Oceanus中CDC数据同步作业的完整流程:需在独享集群上创建作业,选择Flink-1.20-JDK11版本,用YAML语法开发,支持MySQL、Postgres、Kafka等source端及Doris、Starrocks、Iceberg等sink端。作业参数含Checkpoint(30-3600秒)、运行日志采集、高级参数、规格配置及算子并行度设置,发布前需语法检查,启动时可指定源表开始时间(。

相关产品
流计算 Oceanus 产品页,含版本规格、价格与购买入口。

一、前提条件

流计算作业需运行于流计算独享集群,若还没有集群,请参见 创建独享集群。

二、创建作业

在 流计算 Oceanus 控制台 进入空间后,选择作业开发,在作业目录中单击"+",随即选择新建作业,在弹窗中选择 CDC 作业类型、作业名称和运行集群,Flink 版本需要选择 Flink-1.20-JDK11,单击确定后即可在作业列表中看到新建的作业。

创建 CDC 作业后,在作业对应的编辑框中使用 YAML 语法进行数据同步作业开发。

三、编写和调试 YAML 作业

创建完成后,可在作业开发的代码编辑框中输入 YAML 语句,可无需另外准备数据快速创建作业。数据同步功能主要基于 Flink-CDC 3.6 进行二次开发,作业编写可以参考 YAML 开发。目前 source 端支持 mysql、postgres、kafka,sink 端支持 setats、doris、starrocks、iceberg、paimon、kafka、mysql、ES。

示例语句具体执行的内容如下:

四、作业参数

作业参数可以在编辑框的右边单击作业参数并在侧边弹出的参数界面中设置参数值,然后单击确定保存作业参数信息。下文会有各参数的详细介绍说明,以帮助你更好地配置各作业参数。

五、Checkpoint

Checkpoint 即作业快照,开启 checkpoint 之后作业会按照设置的时间间隔自动保存作业快照,用于遇到故障时作业的恢复。可设置 checkpoint 的时间间隔,设置范围在30秒 – 3600秒。

六、运行日志采集

显示当前作业的运行日志采集配置,默认为采集到集群绑定的默认日志服务。作业的运行日志将自动采集到作业所在的集群绑定的日志集和日志主题,可在日志页面中查看。

七、高级参数

支持部分 Flink 高级参数自定义,需按照 YML 语法,并以“key: value”的形式进行配置,详情请参见 作业高级参数。

八、规格配置

可以按需配置 JobManager 和 TaskManager 的规格大小,灵活运用资源,详情请参见 作业资源配置。

九、算子默认并行度

当没有在 YAML 作业中显式定义算子并行度时,作业将采用用户指定的算子默认并行度。并行度与 TaskManager 规格大小决定作业所占用的计算资源。1个并行度将占用1个 TaskManager 规格大小的 CU 计算资源(当 TaskManager 规格大小为1时,1个并行度将占用1 CU 计算资源。当 TaskManager 规格大小为0.5时,1个并行度将占用0.5 CU 计算资源)。

十、语法检查

编写并保存 YAML 语句后,可进行语法检查,以避免因语法错误而导致运行失败。单击编辑框上方的语法检查,可对已保存 YAML 语句进行语法检查。若语法无误,将会在页面右上方提示“语法检查成功”;若有语法错误,将提示相应语法错误,请按照提示进行修改,直至语法检查通过。

十一、发布与启动

当作业配置好后,即可单击编辑框上方的发布,即可发布新版本,随后可在左边切换作业运维界面选择作业进行启动和停止。

十二、指定源表开始时间启动

指定源表开始时间默认关闭。开启后,作业将从该时间开始读取源表增量数据,覆盖作业内开始时间配置。

目前仅支持 MySQL 数据源。

赞 (0)
上一篇 4天前
下一篇 4天前