对象存储 创建异步导出任务

本接口支持创建异步检索导出任务,适用于大规模数据检索处理。当检索结果数据量过大、无法通过同步方式返回时,可通过此接口提交任务。处理完成后,结果将异步存储至你指定的 COS 存储桶路径中。

相关产品
对象存储 产品页,含版本规格、价格与购买入口。

一、授权说明

通过子账号使用时,需要在 授权策略 的 action 中添加 ci:CreateDatasetExport 权限,数据万象支持的所有操作接口请参见 action。

二、使用限制

使用该接口时,请先确认相关限制条件。详情请参见 使用限制。

三、服务开通

首次使用该功能将默认为你开通数据万象,并绑定存储桶,无需角色授权,即可直接使用。

注意:数据万象绑定后,如果你手动对存储桶进行数据万象的解绑操作,将无法继续使用该功能。

四、请求示例

POST /datasetquery/export HTTP/1.1Host: <AppId>.ci.<Region>.myqcloud.comAuthorization: Auth StringContent-Length: 100Content-Type: application/jsonAccept: application/json

注意:说明:

注意:Authorization: Auth String(详情请参见 请求签名 文档)。

五、请求头

此接口仅使用公共请求头部,详情请参见 公共请求头部 文档。

六、请求体

{ "Name": "fortest", "DatasetName": "test", "ExportJobType": 1, "Query": { "Operation": "and", "SubQueries": [{ "Field": "ContentType", "Value": "image/jpeg", "Operation": "eq" }, { "Field": "Size", "Value": "1000", "Operation": "gt" } ] }, "Output": { "Bucket": "test-1250000000", "Object": "prefix001", "Region": "ap-beijing" }}

七、请求参数

具体参数如下:

参数名称 描述 类型 是否必选
Name 新创建任务的名称,支持中文、英文、数字、—和_,长度限制128字符 String 是
DatasetName 数据集名称,同一个账户下唯一 String 是
ExportJobType 任务类型:1.数据导出;2.数据预热,默认值为1 Integer 否
Query 简单查询参数条件,可自嵌套 Container 否
Output 任务结果存放位置 Container 否,当 ExportJobType 为1时,该参数必选
GfsPreHeatConfig 预热配置 Container 否,当 ExportJobType 为2时,该参数必选

Container 类型 Query 的具体数据描述,参见 简单查询 接口中 Query 字段的说明。

Container 类型 Output 的具体数据描述如下:

参数名称 父节点 描述 类型 是否必选
Region Request.Output 存储结果桶的地域 String 是
Bucket Request.Output 存储结果的存储桶 String 是
Object Request.Output 输出结果的文件名 String 是

Container 类型 GfsPreHeatConfig 的具体数据描述如下:

参数名称 父节点 描述 类型 是否必选
ClusterId Request.GfsPreHeatConfig 预热集群实例 ID String 是
Priority Request.GfsPreHeatConfig 任务优先级,取值范围为1-9999,数值越大表示优先级越高。默认值为1 Integer 否

八、响应头

此接口仅返回公共响应头部,详情请参见 公共响应头部 文档。

九、响应体

{ "Job": { "JobId": "xxxxxx", "Name": "fortest", "ExportJobType": 1, "Query": { "Operation": "and", "SubQueries": [{ "Field": "ContentType", "Value": "image/jpeg", "Operation": "eq" }, { "Field": "Size", "Value": "1000", "Operation": "gt" } ] }, "Output": { "Bucket": "test-1250000000", "Object": "prefix001", "Region": "ap-beijing" }, "CreateTime": "2025-04-09T19:38:08.454310276+08:00", "StartTime": "1970-01-01T00:00:00+08:00", "EndTime": "1970-01-01T00:00:00+08:00", "State": "todo", "GfsPreHeatConfig": { "ClusterId": "", "Priority": 1 }, "Progress": 0 }, "RequestId": "NjdmNjVjMjBfNzM0NjZjMT**********"}

响应包体具体数据内容如下:

参数名称 类型 描述
RequestId String 请求 ID
Job Container 创建的任务信息

Job 节点内容:

参数名称 类型 描述
Name String 任务名称
JobId String 任务 JobId,查询时需要
ExportJobType Integer 任务类型:1.数据导出;2.数据预热
State String 任务状态,包含 todo(待执行) / running(执行中) / failed(执行失败) / done(执行成功)
Query Container 简单查询参数条件,和请求时传入值相同
Output Container 任务结果存放位置,和请求时传入值相同
GfsPreHeatConfig Container 预热配置,和请求时传入值相同
StartTime String 任务启动时间
EndTime String 任务结束时间
CreateTime String 任务创建时间
Progress Integer 任务完成进度百分比

GfsPreHeatConfig 节点内容:

参数名称 类型 描述
ClusterId String 预热集群实例 ID
Priority Integer 任务优先级,数值越高代表优先级越高,边界值为1-9999,默认值为1
赞 (0)
上一篇 4天前
下一篇 4天前