批量计算 Batch 的作业配置以 JSON 格式提供,下面给出这个配置的简要说明,下面的作业包含2个任务{ “JobName”: “TestJob”, // 作业名称 “JobDescription”: “for test “, // 作业描述 “Priority”: “1”, // 作业优先级 “Tasks”: [ // 任务列表(本例包含两个任务) { // 任务1 (最简化的任务配置,去除所有非必选项) “T。
相关产品
批量计算 产品页,含版本规格、价格与购买入口。
一、I. 作业(Job)
作业是 Batch 提交的单元,除了本身信息,还包含了一个或者多个任务(Task)的信息以及 Task 之间的依赖关系。
| 名称 |
类型 |
是否必选 |
描述 |
| JobName |
String |
否 |
作业名称 |
| JobDescription |
String |
否 |
作业描述 |
| Priority |
Integer |
是 |
作业优先级,任务(Task)和任务实例(TaskInstance)会继承作业优先级 |
| Tasks.N |
array of Task objects |
是 |
任务信息 |
| Dependences.N |
array of Dependence objects |
否 |
依赖信息 |
二、II. 任务(Task)
一个作业可以包含多个任务,任务主要描述了批处理数据计算中,实际计算过程依赖的环境(机型、系统、镜像)、执行的代码包和命令行、存储、网络等相关信息。
| 名称 |
类型 |
是否必选 |
描述 |
示例 |
| TaskName |
String |
是 |
任务名称,在一个作业内部唯一 |
Task1 |
| TaskInstanceNum |
Integer |
是 |
任务实例运行个数 |
1 |
| Application |
Application object |
是 |
应用程序信息 |
– |
| ComputeEnv |
ComputeEnv object |
是 |
运行环境信息 |
– |
| RedirectInfo |
RedirectInfo object |
是 |
重定向路径 |
– |
| InputMappings |
array of InputMapping object |
否 |
输入映射 |
– |
| OutputMappings |
array of OutputMapping object |
否 |
输出映射 |
– |
| Authentications |
array of Authentication object |
否 |
授权信息 |
– |
| MaxRetryCount |
Integer |
否 |
任务失败后的最大重试次数 |
3 |
| Timeout |
Integer |
否 |
任务启动后的超时时间,单位秒 |
3600 |
三、Application
| 名称 |
类型 |
是否必选 |
描述 |
示例 |
| Command |
String |
是 |
任务执行命令 |
|
| DeliveryForm |
String |
是 |
应用程序的交付方式 |
LOCAL 本地,PACKAGE 远程代码包 |
| PackagePath |
String |
否 |
远程代码包路径,必须 .tgz 格式 |
“http://batchdemo-1251783334.cosgz.myqcloud.com/codepkg/codepkg.tgz“ (仅 PACKAGE 方式) |
四、ComputeEnv
| 名称 |
类型 |
是否必选 |
描述 |
示例 |
| EnvType |
String |
是 |
计算环境管理类型,包括托管和非托管两种 |
MANAGED 托管,UNMANAGED 非托管 |
| EnvData |
EnvData object |
是 |
计算环境具体参数 |
– |
五、EnvData
| 名称 |
类型 |
是否必选 |
描述 |
示例 |
| InstanceType |
String |
是 |
CVM实例类型,托管类型必填 |
S1.SMALL1 |
| ImageId |
String |
是 |
CVM镜像 ID,托管类型必填 |
img-m4q71qnf |
| others |
others |
否 |
参考 CVM API文档 创建实例 提供的参数 |
支持 SystemDisk、DataDisks、VirtualPrivateCloud 等 |
六、RedirectInfo
| 名称 |
类型 |
是否必选 |
描述 |
示例 |
| StdoutRedirectPath |
String |
否 |
标准输出重定向路径 |
cos://dondonbatchv5-1251783334.cosgz.myqcloud.com/logs/ |
| StderrRedirectPath |
String |
否 |
标准错误重定向路径 |
cos://dondonbatchv5-1251783334.cosgz.myqcloud.com/logs/ |
七、InputMapping
| 名称 |
类型 |
是否必选 |
描述 |
示例 |
| SourcePath |
String |
是 |
源端路径 |
cos://dondonbatchv5-1251783334.cosgz.myqcloud.com/input/ |
| DestinationPath |
String |
是 |
目的端路径 |
/data/input/ |
八、OutputMapping
| 名称 |
类型 |
是否必选 |
描述 |
示例 |
| SourcePath |
String |
是 |
源端路径 |
/data/output/ |
| DestinationPath |
String |
是 |
目的端路径 |
cos://dondonbatchv5-1251783334.cosgz.myqcloud.com/output/ |
九、Authentication
如果填写的 COS 路径(存储映射、日志重定向)是本人 COS 地址,无需填写。需要访问其他人的 COS 时,需要填写对应的访问密钥。
| 名称 |
类型 |
是否必选 |
描述 |
| Scene |
String |
是 |
授权场景,例如COS |
| SecretId |
String |
是 |
SecretId |
| SecretKey |
String |
是 |
SecretKey |
十、III. 任务依赖(Dependence)
描述任务之间的先后关系,假设作业包含 2 个任务, StartTask 为 Task1,EndTask 为 Task2,则会在执行完 Task1 之后才会启动 Task2,Task2 执行完则作业执行完毕。
| 名称 |
类型 |
是否必选 |
描述 |
示例 |
| StartTask |
String |
是 |
依赖关系的起点任务名称 |
Task1 |
| EndTask |
String |
是 |
依赖关系的终点任务名称 |
Task2 |