对象存储 使用批量处理

对象存储(Cloud Object Storage,COS)批量处理功能可以实现对存储桶中的对象执行大规模批量操作,也可使用数据万象(CI)的音视频转码、语音识别等功能,对存储桶内指定文件进行批量处理。当前可以以对以下操作执行批量处理。

相关产品
对象存储 产品页,含版本规格、价格与购买入口。

一、简介

·复制对象

·恢复归档对象

·音视频转码、视频抠图、语音合成等数据处理

你可以将需要处理的对象整理在一份对象清单文件中,该清单文件可以来源于清单功能生成的清单报告(需先 开启清单功能),也可以由你依据指定格式自行创建。 COS 批量处理功能可以根据这份对象清单文件进行批量处理。有关使用 COS 批量处理任务的详细信息,请参见 批量处理概述。

二、操作步骤

1. 登录 对象存储控制台。

2. 在左侧导航栏中,单击批量处理,进入批量处理管理页面。

3. 单击创建批量处理任务,开始创建批量处理任务。配置项说明如下:

·任务名称:批量任务的自定义名称。

·批量处理类型:选择 COS Batch 可进行复制、归档等基础操作,选择 独立任务与工作流 可使用数据万象的相关服务。

·任务类型:当选择 COS Batch 时,可选批量数据复制、批量恢复归档类型对象、批量删除。

·任务地域:选择创建任务的地域。任务地域需与你清单中待处理对象的存储桶地域一致,否则任务将失败。

·清单报告:
(1)若没有清单报告:请选择无,系统会在你所选择的清单存储桶中生成即时清单。你可根据需求设置清单信息,例如文件范围、对象版本、筛选标签及筛选时间。更多配置项说明请参见 设置清单。

(2)若已有清单报告或 CSV:请选择有,并且选择清单所在的存储桶即可。

·源存储桶:选择存放清单文件的存储桶。

注意:说明:

注意:目前批量处理功能支持中国大陆公有云地域、硅谷、圣保罗、新加坡地域。

·清单格式:选择要使用清单对象的类型,有以下两种格式:

清单格式 字段 配置说明
COS 清单报告 – 可以选择 COS 生成的清单报告或者用户自定义的 CSV 文件。
CSV Bucket 存储桶的名称。
 Key 存储桶中的对象名称。 如果对象名称采用 URL 编码形式,必须解码成正常格式才能使用。
 VersionId 对象版本 ID。在存储桶上启用版本控制后,COS 会为添加到存储桶的对象指定版本号。如果你希望使用并非最新的对象版本,则可以选择包含清单对象的版本 ID。

·清单文件路径:选择清单文件或 CSV 文件所在路径,格式分别为 json 和 csv,例如你有一份清单文件保存在存储桶 examplebucket-1250000000 的根目录下,则清单路径为:manifest.json。

·清单 ETag:选择清单文件路径后,由系统自动生成。ETag(实体标签)是对象的哈希,ETag 仅反映对对象内容的更改,而不反映对其元数据的更改。ETag 不一定是对象数据的 MD5摘要,这取决于对象的创建方式和加密方式。

4. 单击下一步,按照配置项说明进行设置。

·若上一步中选择批量数据复制,则配置项说明如下:

·目标存储桶:希望将清单列表中的对象复制后存放的存储桶。

·前缀操作:你可以选择对复制后的对象进行添加、替换或者删除前缀。

·存储类型:对复制后的对象设置存储类型。可选标准存储、低频存储、归档存储、深度归档存储。

·服务端加密:选择是否需要对复制后的对象进行加密,可选不加密、SSE-COS 加密。

·访问权限:对复制后的对象设置访问权限,可选复制所有权限、替换所有权限、添加新权限 。

·对象元数据:对复制后的对象设置元数据,可选复制所有元数据、替换所有元数据,添加新的元数据。

·对象标签:对复制后的对象设置对象标签,可选复制所有标签、替换所有标签、添加新标签。

·若上一步中选择批量恢复归档类型对象,则配置项说明如下:

·恢复模式:可选标准模式、批量模式。恢复模式的介绍可参见 恢复归档对象。

·副本有效期:设置副本在多少天后自动过期删除,设置范围为最短1天,最长365天。

·若上一步中选择批量删除,则进入步骤 5。

5. 单击下一步,填写以下相关配置。

·任务优先级:优先级高的任务会优先执行,可填正整数,数字越大表示优先级越高。

·任务报告:可选择是否生成任务报告。

·CAM 角色:你可以建立一个 CAM 角色或选择已有的 CAM 角色为 COS 授予操作权限。

注意:批量处理操作需要你通过创建 CAM 角色的方式,来授予 COS 批量处理的权限,有关 CAM 角色详情可参见 CAM 角色概述。

6. 单击下一步,核对你所填写的批量处理任务配置,并按需勾选此项,任务创建完成后会直接启动,请确保上述配置信息正确。
如需修改,请单击对应的修改或上一步。


7. 确认无误后,单击创建或创建并启动即可。
批量任务创建完成后,在任务列表中找到刚才已创建的任务。如需取消任务,可单击右侧的取消任务。


赞 (0)
上一篇 4天前
下一篇 4天前