一、前提条件
流计算作业 CDC 数据同步作业需运行于流计算独享集群,若还没有集群,请参见 创建独享集群。
二、步骤1:创建 CDC 作业
1. 登录 流计算 Oceanus 控制台,进入某一工作空间后,单击左侧导航作业开发。
2. 进入作业开发页面,在作业目录处单击"+"选择新建作业,作业类型选择 CDC 作业,输入作业名称,并选择一个运行中的集群,新建的 CDC 作业将运行于此集群。Flink 版本选择 Flink-1.20-JDK11。
3. 单击确定后,即成功创建作业。
三、步骤2:流计算服务委托授权
选择作业管理中刚新建的作业,单击开发调试。在未授权时,弹出访问授权对话框如下,单击前往授权,授权流计算作业访问你的消息队列或云数据库等资源。此授权的详细说明参见 流计算服务委托授权。
四、步骤3:编写 YAML 语句
授权完成后,可在作业开发的代码编辑框中输入 YAML 语句,可无需另外准备数据快速创建作业。数据同步功能主要基于 Flink-CDC 3.6 进行二次开发,作业编写可以参考 YAML 开发。
示例语句具体执行的内容如下:
pipeline: name: Sync MySQL Database to Doris parallelism: 2source: type: mysql hostname: localhost port: 3306 username: root password: xxx tables: app_db.\\.*sink: type: doris fenodes: 127.0.0.1:8030 username: root password: xxx
五、步骤4:设置作业参数
在作业参数中设置 Checkpoint 和算子默认并行度等参数的值。
六、步骤5:单击发布
单击发布,弹窗中作业自动生成新的版本号,填写版本说明后即可发布。版本发布后可在作业运维中进行启停。
七、步骤6:启动作业
切换到作业运维界面,找到之前发布的作业,即可启动作业。
八、步骤7:查看作业运行情况
作业启动运行后,将变为操作中的状态,成功启动后将变为运行中的状态。作业运行中时,可以通过监控、日志、Flink UI 等功能查看作业运行的情况。