一、创建步骤
1. 登录 数据湖计算 DLC 控制台,单击左侧菜单数据作业进入数据作业管理页。
2. 单击创建作业按钮,进入创建页。
二、选择数据访问策略
进入 数据湖 DLC 控制台 > 数据作业页面,单击创建作业按钮,进入创建页,数据访问策略选项自动填入常驻访问策略,可通过下拉选项选择其他访问策略,若需要新增或切换常驻访问策略详见配置数据访问策略 > 步骤四。
配置参数如下:
| 配置参数 | 说明 |
| 作业名称 | 支持中文、英文、数字和“_”,最多100个字符 |
| 作业类型 | 批处理:基于 Spark jar 的批处理数据作业流处理:基于 Spark Streaming 的流式数据作业SQL作业:后台封装为 Jar 包,调用 spark.sql 算子执行 SQL 语句 |
| 程序包 | 支持 jar 格式。支持选择对象存储 cos 内文件或本地上传,本地上传不可超过5MB,如程序包超过5MB可先将程序包上传到 cos 后使用。支持直接填写 cos 存储路径 |
| 主类(Main Class) | 选择 jar 文件时必填。jar 包的主类参数,多个参数使用空格分割 |
| 程序入口参数 | 非必填。程序的入口参数,支持填写多个。多个参数使用“空格”分割 |
| 作业参数 | 非必填。作业-config 信息,spark.开头的参数,按照k=v格式填写,多个参数换行填写。示例:spark.network.timeout=120s |
| Spark镜像 | 必填。 |
| 依赖 jar 资源(–jar) | 非必填。支持 jar 格式,可选择多个支持选择对象存储 cos 内文件或本地上传,本地上传不可超过5MB,如资源超过5MB可先将资源上传到 cos 后使用。支持直接填写 cos 存储路径,多个路径以“;”隔开 |
| 依赖 py 资源(–py-files) | 非必填。支持 py、zip、egg 格式,可选择多个支持选择对象存储 cos 内文件或本地上传,本地上传不可超过5MB,如资源超过5MB可先将资源上传到 cos 后使用。支持直接填写 cos 存储路径,多个路径以“;”隔开 |
| 依赖 files 资源(–files) | 非必填。暂不支持 jar、zip 格式,可选择多个支持选择对象存储 cos 内文件或本地上传,本地上传不可超过5MB,如资源超过5MB可先将资源上传到 cos 后使用。支持直接填写 cos 存储路径,多个路径以“;”隔开 |
| 依赖 archives 资源(–archives) | 非必填。支持 tar.gz、tgz、tar 格式,可选择多个支持选择对象存储 cos 内文件或本地上传,本地上传不可超过5MB,如资源超过5MB可先将资源上传到 cos 后使用。支持直接填写 cos 存储路径,多个路径以“;”隔开 |
| CAM Role arn | 在作业配置中配置的数据访问策略,指定了数据作业可访问的数据范围。详细配置说明参见 配置数据访问策略 |
| 资源配置 | 可配置数据作业的引擎资源,可配置资源数不超过所选的数据引擎规格。资源说明:1CU≈1核4G计费 CU 数 = Executor 资源 * Executor 数量 + Driver 资源按量计费的数据引擎费用将按计算 CU 数的使用量收取 |
完成配置填写后,保存即可完成创建。