对象存储 元数据加速桶生命周期

COS 元数据加速桶兼容 COS 生命周期能力,适用于数据仓库、数据冷热分层等场景。元数据加速桶支持使用 COS 控制台及 API 配置生命周期规则,具体使用方法可参考:COS 生命周期概述。

相关产品
对象存储 产品页,含版本规格、价格与购买入口。

一、与 COS 生命周期的差异

COS 元数据加速桶与 COS 桶生命周期有如下差异,在使用时请你关注:

1. 规格限制:COS 元数据加速桶限制单个存储桶下生命周期规则数量最多1000条,若有特殊场景需要提升此限制,请 联系我们。

2. 更新时间:元数据加速桶生命周期使用最近文件更新时间作为沉降或删除的依据。COS 元数据加速后端文件 MTime、ATime、CTime 中的最近时间,作为文件更新时间。暂不支持指定特定时间(MTime、ATime、CTime)作为沉降依据。例如,若你6月1日创建文件text.txt,6月10日再次访问该文件,后续对此文件无操作。6月11日配置生命周期规则,指定text.txt更新后10天沉降至低频。此时生命周期扫描判断,该文件的 MTime 为6月1日;ATime 为6月10日,该文件的最近更新时间为6月10日,该文件将会于6月20日沉降为低频存储类型。

注意:说明:

3. 文件前缀:元数据加速桶生命周期的前缀筛选功能 (prefix) 支持通配符 (用 "*" 表示)。例如,你的桶中有如下两个路径:

·user/hive/warehouse/test.db/test_table/

·user/hive2/warehouse/test.db/test_table2/

若你在生命周期规则中配置的前缀规则为 user/hive*/warehouse/test.db/test_table*,将会同时命中两个路径。

注意:说明:

4. 当前元数据加速桶支持按以下顺序单向沉降文件:

·单 AZ 元数据加速桶:标准存储 > 低频存储 > 归档存储 > 深度归档存储

·多 AZ 元数据加速桶:多 AZ 标准存储 > 多 AZ 低频存储

二、使用方式

当前元数据加速桶支持使用 COS 控制台和 S3 Lifecycle API 配置生命周期规则。

三、通过控制台配置

使用控制台配置的流程如下:

四、创建规则

1. 进入 COS 控制台。

2. 在左侧导航中,单击存储桶列表,进入存储桶列表页面。

3. 找到需要开启生命周期功能的元数据加速存储桶,单击其存储桶名称,进入存储桶详情页。

4. 单击左侧的基础配置 > 生命周期配置项。

5. 单击添加规则。

基础信息配置项说明如下:

·规则名称:输入你的生命周期规则名称。

·应用范围:本生命周期规则可以作用于整个存储桶,也可以作用于指定前缀范围内的文件。

·当选择指定范围时:

·对象前缀:当不需要通配符匹配时,仅支持前缀填写为目录。配置前缀时无需在路径前后携带 /,COS 后端会默认将该路径作为目录处理。

·当选择整个存储桶时:规则对整个存储桶内文件生效。

·排除范围:不希望被生命周期规则匹配的路径前缀。此处输入的对象前缀,不需要在末尾增加通配符,输入的通配符将被作为普通字符对待。

6. 点击下一步,进入规则配置。

配置项说明如下:

·管理当前版这篇件:你可以通过开启管理当前版这篇件的选项,沉降或者删除当前版本对象。支持存储桶中的对象由标准存储等热数据沉降至低频存储等冷数据,支持对象到期后删除。

·存储类型由热到冷分别为:标准存储 > 低频存储 > 归档存储 > 深度归档存储,存储类型转换只能由热到冷,不能反向进行。关于存储类型的介绍和适用地域说明,请参见 存储类型概述。

注意:说明:

注意:开启了多 AZ 配置的存储桶,生命周期的转换顺序仅支持标准存储(多 AZ) > 低频存储(多 AZ) 。

·元数据加速桶根据使用最近文件更新时间作为沉降或删除的依据。COS 元数据加速后端文件 MTime、ATime、CTime 中的最近时间,作为文件更新时间。暂不支持指定特定时间(MTime、ATime、CTime)作为沉降依据。

注意:说明:

注意:例如,若你6月1日创建文件text.txt,6月10日再次访问该文件,后续对此文件无操作。6月11日配置生命周期规则,指定text.txt更新后10天沉降至低频。此时生命周期扫描判断,该文件的 MTime 为6月1日;ATime 为6月10日,该文件的最近更新时间为6月10日,该文件将会于6月20日沉降为低频存储类型。

·删除碎片:文件上传的时候由于各种原因导致上传失败,只传输了其中的一部分,对于此类残损的文件可以设置定期删除。

7. 点击下一步,信息确认无误后,单击确定,即完成生命周期规则创建。

五、查看规则

1. 进入 COS 控制台。

2. 在左侧导航中,单击存储桶列表,进入存储桶列表页面。

3. 找到需要开启生命周期功能的元数据加速存储桶,单击其存储桶名称,进入存储桶详情页。

4. 单击左侧的基础配置 > 生命周期配置项,即可看到该桶下所有生命周期规则。

六、编辑规则

1. 进入 COS 控制台。

2. 在左侧导航中,单击存储桶列表,进入存储桶列表页面。

3. 找到需要开启生命周期功能的元数据加速存储桶,单击其存储桶名称,进入存储桶详情页。

4. 单击左侧的基础配置 > 生命周期配置项。

5. 找到预期要编辑的规则,点击编辑按钮,即可通过弹窗编辑生命周期规则。

七、删除规则

1. 进入 COS 控制台。

2. 在左侧导航中,单击存储桶列表,进入存储桶列表页面。

3. 找到需要开启生命周期功能的元数据加速存储桶,单击其存储桶名称,进入存储桶详情页。

4. 单击左侧的基础配置 > 生命周期配置项。

5. 找到预期要删除的规则,点击删除按钮,即可删除生命周期规则。

注意:说明:

注意:若你仅需短暂停止规则执行,无需删除规则,可单击编辑,将对应规则的状态修改为关闭。

八、通过 API 配置

元数据加速桶复用 COS 生命周期能力,支持使用 COS Lifecycle 接口开启生命周期配置。由于元数据加速桶特性,API 中部分字段与 COS 接口存在差异,具体调用方式请参照如下接口示例:

九、PUT Bucket Lifecycle

该接口用于创建存储桶内生命周期规则,接口参数说明请参考 COS PUT Bucket Lifecycle 接口文档。

由于元数据加速桶特性,API 中部分字段与 COS 生命周期接口存在差异,具体说明如下:

·Filter 节点

·元数据加速桶不支持文件标签,因此不支持入参 tag 字段进行筛选。

·暂不支持根据文件大小筛选,因此不支持入参 ObjectSizeGreaterThan 和 ObjectSizeLessThan 字段。

·AccessFrequency 节点

·元数据加速桶暂不支持指定访问时间沉降,因此不支持入参 AccessFrequency 及其子节点参数。

·NoncurrentVersion 相关节点

·元数据加速桶暂不支持 版本控制,因此不支持入参 NoncurrentVersionExpiration、NoncurrentVersionTransition 及其子节点参数。

·StorageClass 节点

·当前元数据加速桶支持的入参为:STANDARD_IA、ARCHIVE、DEEP_ARCHIVE。

请求

PUT /?lifecycle HTTP/1.1Host: <BucketName-APPID>.cos.<Region>.myqcloud.comContent-Length: lengthDate: GMT DateAuthorization: Auth String Content-MD5: MD5<?xml version="1.0" encoding="UTF-8"?><LifecycleConfiguration> <Rule> <ID>test_rule_1</ID> <Filter> <And> <Prefix>test_prefix</Prefix> <PrefixNotEquals>test_prefix/abc</PrefixNotEquals> </And> </Filter> <Status>Enabled</Status> <Transition> <Days>30</Days> <StorageClass>STANDARD_IA</StorageClass> </Transition> <Transition> <Days>90</Days> <StorageClass>ARCHIVE</StorageClass> </Transition> <Transition> <Days>180</Days> <StorageClass>DEEP_ARCHIVE</StorageClass> </Transition> <Expiration> <Days>360</Days> </Expiration> </Rule> <Rule> <ID>test_rule_2</ID> <Filter/> <Status>Enabled</Status> <AbortIncompleteMultipartUpload> <DaysAfterInitiation>30</DaysAfterInitiation> </AbortIncompleteMultipartUpload> </Rule></LifecycleConfiguration>

响应

HTTP/1.1 200 OKContent-Type: application/xmlContent-Length: 0Date: Wed, 16 Aug 2020 11:59:33 GMTServer: tencent-cos

十、GET Bucket Lifecycle

该接口用于获取存储桶内生命周期规则,接口参数说明请参考 COS GET Bucket Lifecycle 接口文档。

请求

GET /?lifecycle HTTP/1.1Host: <BucketName-APPID>.cos.<Region>.myqcloud.comDate: GMT DateAuthorization: Auth String

响应

HTTP/1.1 200 OKContent-Type: application/xmlContent-Length: 312Date: Wed, 16 Aug 2017 12:23:54 GMTServer: tencent-cosx-cos-request-id: NTk5NDM5NWFfMjQ4OGY3Xzc3NGRf****<?xml version="1.0" encoding="UTF-8"?><LifecycleConfiguration> <Rule> <ID>test_rule_1</ID> <Filter> <And> <Prefix>test_prefix</Prefix> <PrefixNotEquals>test_prefix/abc</PrefixNotEquals> </And> </Filter> <Status>Enabled</Status> <Transition> <Days>30</Days> <StorageClass>STANDARD_IA</StorageClass> </Transition> <Transition> <Days>90</Days> <StorageClass>ARCHIVE</StorageClass> </Transition> <Transition> <Days>180</Days> <StorageClass>DEEP_ARCHIVE</StorageClass> </Transition> <Expiration> <Days>360</Days> </Expiration> </Rule> <Rule> <ID>test_rule_2</ID> <Filter/> <Status>Enabled</Status> <AbortIncompleteMultipartUpload> <DaysAfterInitiation>30</DaysAfterInitiation> </AbortIncompleteMultipartUpload> </Rule></LifecycleConfiguration>

十一、DELETE Bucket Lifecycle

该接口用于删除存储桶内生命周期规则,接口参数说明请参考 COS DELETE Bucket Lifecycle 接口文档。

请求

DELETE /?lifecycle HTTP/1.1Host: <BucketName-APPID>.cos.<Region>.myqcloud.comDate: GMT DateAuthorization: Auth String

响应

HTTP/1.1 204 No ContentContent-Type: application/xmlDate: Wed, 16 Aug 2017 12:59:09 GMTServer: tencent-cosx-cos-request-id: NTk5NDQxOWNfMjQ4OGY3Xzc3NGRf****

赞 (0)
上一篇 4天前
下一篇 4天前