流计算 Oceanus 创建 CDC 数据同步作业

这篇说说腾讯云流计算Oceanus创建CDC数据同步作业的完整流程:从创建独享集群、新建CDC作业、授权、编写YAML语句到发布启动作业并查看运行情况,基于Flink-CDC 3.6实现MySQL到Doris等数据同步。 前提条件:需先创建流计算独享集群。 核心步骤:创建作业、授权、编写YAML、设置参数、发布启动。 运行查看:通过监控、日志、Flink UI查看作业状态。

相关产品
流计算 Oceanus 产品页,含版本规格、价格与购买入口。

一、前提条件

流计算作业 CDC 数据同步作业需运行于流计算独享集群,若还没有集群,请参见 创建独享集群。

二、步骤1:创建 CDC 作业

1. 登录 流计算 Oceanus 控制台,进入某一工作空间后,单击左侧导航作业开发。

2. 进入作业开发页面,在作业目录处单击"+"选择新建作业,作业类型选择 CDC 作业,输入作业名称,并选择一个运行中的集群,新建的 CDC 作业将运行于此集群。Flink 版本选择 Flink-1.20-JDK11。

3. 单击确定后,即成功创建作业。

三、步骤2:流计算服务委托授权

选择作业管理中刚新建的作业,单击开发调试。在未授权时,弹出访问授权对话框如下,单击前往授权,授权流计算作业访问你的消息队列或云数据库等资源。此授权的详细说明参见 流计算服务委托授权。

四、步骤3:编写 YAML 语句

授权完成后,可在作业开发的代码编辑框中输入 YAML 语句,可无需另外准备数据快速创建作业。数据同步功能主要基于 Flink-CDC 3.6 进行二次开发,作业编写可以参考 YAML 开发。

示例语句具体执行的内容如下:

pipeline: name: Sync MySQL Database to Doris parallelism: 2source: type: mysql hostname: localhost port: 3306 username: root password: xxx tables: app_db.\\.*sink: type: doris fenodes: 127.0.0.1:8030 username: root password: xxx

五、步骤4:设置作业参数

在作业参数中设置 Checkpoint 和算子默认并行度等参数的值。

六、步骤5:单击发布

单击发布,弹窗中作业自动生成新的版本号,填写版本说明后即可发布。版本发布后可在作业运维中进行启停。

七、步骤6:启动作业

切换到作业运维界面,找到之前发布的作业,即可启动作业。

八、步骤7:查看作业运行情况

作业启动运行后,将变为操作中的状态,成功启动后将变为运行中的状态。作业运行中时,可以通过监控、日志、Flink UI 等功能查看作业运行的情况。

赞 (0)
上一篇 4天前
下一篇 4天前