注意:流计算 Oceanus 不再支持 ETL 的作业类型,用户存量作业可以继续运行,推荐使用 SQL 作业类型 或者 WeData 实时集成 功能来完成 ETL 业务。
一、前提条件
流计算作业需运行于流计算独享集群,若还没有集群,请参考 创建独享集群。
二、创建作业
在 流计算 Oceanus 控制台 中选择作业管理 > 新建作业,在弹窗中选择作业类型、作业名称和运行集群,单击确定,即可在作业列表中看到新建的作业。
创建 ETL 作业后,在作业管理中单击要进行开发的作业名称,然后单击开发调试,即可进入ETL作业开发界面。
三、添加数据源表和目的表
从左侧组件面板可以拖拽出需要的数据源与数据目的。
四、配置下游算子
移动鼠标到数据源并单击右边的加号可以添加下游算子。
五、连接组件
移动鼠标到组件并单击连接点可以对组件进行连接。
六、配置数据源
单击数据源可以进行数据源相关的配置。
七、管理连接信息
配置数据源或数据目的时,如果需要对连接进行管理,可以单击管理连接信息对连接进行新增、删除、修改的操作。
八、配置数据清洗
数据清洗组件可以对数据进行进一步的计算,例如修改字段取值、修改字段类型、对字段进行函数计算、以及新增字段等。字段取值可以输入字段值或者表达式,可以对从数据源表抽取出来的字段数据进行 内置函数 数值转换或者计算。
九、配置数据目的
目前ETL作业支持多种数据目的端,单击相应的数据目的组件可以进行数据目的组件的配置。
十、作业参数
ETL作业同样支持作业参数,通过作业参数可以对作业的Checkpoint、日志采集、高级参数、并行度、资源规格进行配置。
十一、日志与监控
当作业运行成功后,可以通过上方按钮查看作业的日志与监控。