对象存储 智能体存储

智能分层存储类型为数据提供了冷热分层机制,能够根据用户数据的访问模式,自动地转换数据的冷热层级,从而降低用户数据的存储成本。智能分层存储适用于访问模式不固定或者无法预估访问模式的数据,COS 会监控对象的访问情况,存储费用将按照数据实际存储的层级收费(高频访问层、低频访问层、归档层、深度归档层)。用户可以按照自身业务需求,将访问模式不固定的数据转换为智能分层存储类型,降低云上存储成本。

相关产品
对象存储 产品页,含版本规格、价格与购买入口。

二、优势

当用户上传数据时选择以智能分层存储类型存放到 COS,COS 将周期性地监测数据访问次数,在持续一段时间没有数据访问时,将数据转移至存储成本更低的访问层。如果数据重新被访问,则会被重新转移到高频访问层上,保障数据读取性能。通过数据冷热分层存储,智能分层能够帮助用户在存储成本和读写性能之间寻找平衡点。使用智能分层存储具有以下优势:

·成本集约:当数据持久化存储为智能分层存储类型时,存储时间越长,则相较存储于标准存储的成本越低,最多可节约20%左右的存储成本。智能分层存储类型还参与对象存储生命周期流程,用户可以按需将智能分层存储沉降到归档存储中,进一步降低数据存储成本。

·稳定持久:智能分层存储提供与标准存储一致的低时延和高吞吐体验。同时,智能分层存储采用纠删码冗余存储的方式,提供了高达99.999999999%(11个9)的数据可靠性;数据分块存储,并发读写,提供高达99.99%的业务可用性。多 AZ 架构已同步智能分层特性,数据设计可靠性可高达99.9999999999%(12个9),业务设计可用性可高达99.995%。

·便捷易用:只需为数据指定对象存储类型,即可应用智能分层存储特性。智能分层存储作为一种存储类型,天然适配 COS 的 API、SDK、工具以及生态应用,方便用户按需管理存储在云上的数据。

三、支持的存储层级

注意:说明:

注意:64KB以下小文件将保留在高频访问层,不沉降到低频访问层、归档层、深度归档层。

用户可以通过 API HEAD Object 返回的头部 x-cos-storage-tier 查看智能分层对象处在哪个层级。此外,调用 API GET Bucket(List Objects) 和 GET Bucket Object versions 返回的对象列表中,智能分层对象将返回字段 StorageTier 用于查看对象所在的层级。

访问层级 x-cos-storage-tier
高频访问层 FREQUENT
低频访问层 INFREQUENT
归档层 ARCHIVE_ACCESS
深度归档层 DEEP_ARCHIVE_ACCESS

四、高频访问层(默认开启)

上传智能分层存储类型的对象后,对象默认处于高频访问层(FREQUENT)状态。当对象处于本层时,存储费用按当前地域标准存储刊例价进行计费。

五、低频访问层(默认开启)

为存储桶开启智能分层配置时,需要选取转换为低频访问层的天数,可选项包括30、60、90天。天数一旦设置后,不支持修改。

当对象连续30天(或60天、90天)无访问时,对象将从高频访问层转换为低频访问层(INFREQUENT)。当对象处于本层时,存储费用按当地域低频存储刊例价进行计费。该层对象被访问后,将重新回到高频访问层。

六、归档层(可选)

由于归档层对象需要先恢复再访问。因此,归档层的开启为可选项,用户可通过添加一条或多条智能分层归档配置规则,针对指定前缀、标签的对象开启归档层,并配置转换天数。归档层的转换天数至少为91天,最大值为730天。

注意:说明:

恢复归档层的对象

当对象连续 N 天无访问时,对象将从低频访问层转换到归档层。一旦进入归档层,需要通过 POST Object restore 恢复后才能读取数据。

·与普通的归档类型不同,智能分层存储的归档层对象的恢复,不会产生标准类型的副本,而是对象本身直接回到高频访问层。

·与普通的归档类型相同,智能分层存储的归档层对象支持快速、标准、批量三种取回模式。

在计费上:

·智能分层存储的归档取回费用:

·标准取回,批量取回不计费。

·快速取回计费,刊例价与同地域归档存储快速取回费用相同。

·智能分层存储的归档取回请求费用:

·标准取回请求、批量取回请求不计费。

·快速取回请求计费,刊例价与同地域归档存储快速取回请求费用相同。由于归档存储快速取回请求暂不计费,所以这里智能分层存储的归档快速取回请求也暂不计费,保持一致。

七、深度归档层(可选)

同样的,深度归档层对象需要先恢复再访问。因此,深度归档层的开启为可选项,用户可通过添加一条或多条智能分层深度归档配置规则,针对指定前缀、标签的对象开启深度归档层。可以在同一条规则中,同时配置归档层和深度归档层的转换。需要注意的是,深度归档层的转换天数至少为180天,最大值为730天,且必须大于归档层的转换天数。

注意:说明:

恢复深度归档层的对象

当对象连续 M 天无访问时,对象将从低频访问层/归档层转换到深度归档层。一旦进入深度归档层,需要通过 POST Object restore 恢复后才能读取数据。

·与普通的深度归档类型不同,智能分层存储的深度归档层对象的恢复,不会产生标准类型的副本,而是对象本身直接回到高频访问层。

·与普通的深度归档类型相同,智能分层存储的深度归档层对象支持标准、批量两种取回模式;取回费用和取回请求费用均不收取。

九、规则说明

当存储桶开启智能分层配置后,用户上传的智能分层对象默认仅在高频访问层、低频访问层间切换,在智能分层配置中添加归档及深度归档层规则后,可以开启归档、深度归档层的切换。每个存储桶最多支持添加1000条归档及深度归档层的配置规则,规则包含的元素如下。规则详情可参考 API 文档 PUT Bucket IntelligentTiering。

十、规则名称(Id)

用于唯一标识归档及深度归档规则。

十一、状态(Status)

归档层、深度归档层配置支持开启(Enabled)或关闭(Disabled),即使配置了归档/深度归档层规则,在关闭状态下,也不会被真实转换到归档或深度归档层级。

十二、应用范围(Filter)

规定规则的生效范围,支持前缀筛选和标签筛选,前缀数量不超过1个,标签数量不超过10个。

十三、层级设置

支持在一条规则中设置归档层和深度归档层的转换时间,设定好相应的规则后,智能分层存储类型的对象才会开启沉降到归档、深度归档层的转换,否则只会在高频访问层、低频访问层间互相转换。

·归档层(ARCHIVE_ACCESS):支持设置91天 – 730天。

·深度归档层(DEEP_ARCHIVE_ACCESS):支持设置180天 – 730天。

注意:说明:

注意:如果在同一条规则中同时配置归档层、深度归档层的转换规则,则深度归档的转换天数必须大于归档的转换天数。

十五、存储层级转换顺序

用户可以单独开启归档层的转换、单独开启深度归档层转换、同时开启归档和深度归档层的转换。按照配置的低频访问层、归档层、深度归档层的转换天数,将依次逐层沉降。

配置示例 配置详情 生效结果
示例1 低频访问层30天,归档层100天,深度归档层190天 连续30天无访问,从高频访问层转换为低频访问层。连续100天无访问,从低频访问层转换为归档层。连续190天无访问,从归档层转为深度归档层。
示例2 低频访问层30天,深度归档层190天 连续30天无访问,从高频访问层转换为低频访问层。连续190天无访问,从低频访问层转换为深度归档层。
示例3 低频访问层60天,归档层91天 连续60天无访问,从高频访问层转换为低频访问层。连续91天无访问,从低频访问层转换为归档层。

十六、恢复归档及深度归档层的智能分层存储类型对象

当对象连续多天无访问时,对象将从低频访问层转换到归档层/深度归档层。一旦进入归档层、深度归档层,需要通过 POST Object restore 恢复后才能读取数据。

·与普通归档类型、深度归档类型对象的恢复不同,智能分层存储的归档层、深度归档层对象的恢复,不会产生标准类型的副本,而是对象本身直接回到高频访问层。因此,针对智能分层存储的归档/深度归档层对象发起取回请求时,不需要指定取回天数。

·与普通的归档类型相同,智能分层存储的归档层对象支持快速、标准、批量取回模式;与普通的深度归档类型相同,智能分层存储的深度归档层对象支持标准、批量两种取回模式。

·在收费上,除归档层快速取回费用外(定价与同地域归档存储快速取回费用相同),不收取任何其他取回费用、取回请求费用、回热副本存储费用等。

  归档存储类型 智能分层对象-归档层 深度归档存储类型 智能分层对象-深度归档层
存储费用  按当前地域归档存储类型存储费用收费  按当前地域深度归档存储类型存储费用收费 
取回是否生成副本  是,需要指定保留天数,按标准存储定价产生副本存储费用。 否,无副本存储费用。 是,需要指定保留天数,按标准存储定价产生副本存储费用。 否,无副本存储费用。
取回模式  快速模式标准模式批量模式 快速模式标准模式批量模式 标准模式批量模式 标准模式批量模式
取回费用(单位:元/GB) 快速 归档快速取回费用 智能分层归档层快速取回费用(定价同归档存储) \\ \\
 标准 归档标准取回费用 免费 深度归档标准取回费用 免费
 批量 归档批量取回费用 免费 深度归档批量取回费用 免费
取回请求费用(单位:元/万次)  暂不计费 暂不计费 深度归档标准取回请求费用深度归档批量取回请求费用 免费
读写请求费用  与恢复后的标准存储费用一致 智能分层读写请求费用 深度归档读写请求费用 智能分层读写请求费用

恢复过程中,可以通过 HEAD Object 查看智能分层存储的归档层/深度归档层对象的恢复状态。

·处于恢复状态中,HEAD Object 的响应头部将包含 x-cos-restore 和 x-cos-restore-status。例如,x-cos-restore:ongoing-request="true",cos-restore-status:tier="bulk"; request-date="Mon, 18 Nov 2019 09:34:50 GMT"。

·恢复完毕后,智能分层存储的对象直接回到高频访问层,HEAD Object 的响应头部 x-cos-storage-tier 为 FREQUENT。

十七、使用方法

将数据以智能分层存储类型存放到 COS,首先需要为存储桶开启智能分层配置。开启后,用户在上传对象时将存储类型指定为智能分层存储类型即可。

十九、上传对象时设置为智能分层存储

1. 登录 对象存储控制台。

2. 在左侧菜单栏中,单击存储桶列表,进入存储桶列表页面。

3. 找到需要设置智能分层存储的存储桶,单击其名称,进入存储桶管理页面。

4. 单击基础配置 > 智能分层,找到智能分层存储配置项,单击编辑将当前状态打开,并按照以下配置项说明进行设置。

注意:智能分层存储配置完成后,该配置将无法关闭或暂停。

·低频层转换天数:该参数用于指定转换为低频访问层的时间,可选天数为30、60和90。例如该天数为30天时,系统将在连续30天无访问后将对象从高频访问层沉降为低频访问层。

5. 确认配置信息无误后,单击保存,根据提示完成二次确认,即可开启智能分层状态。

6. 开启后,支持配置智能分层存储归档及深度归档规则。即配置项指定范围内的智能分层对象,支持被转换到归档层和深度归档层。若你不需要配置智能分层归档及深度归档规则,请跳至 步骤10。

7. 单击添加规则 ,配置项说明如下:

·规则名称:输入你的规则名称,创建后不支持修改。

·应用范围:本智能分层归档及深度归档规则可以作用于整个存储桶,也可以作用于指定范围的对象,当前支持选择以下范围:

·对象前缀:可指定具有相同文件前缀的对象去执行智能分层归档及深度归档规则,例如 prefix/。

·对象标签:可指定带有同一标签的对象去执行智能分层归档及深度归档规则,最多支持指定10个标签,请区分英文字母大小写。

注意:可同时指定对象前缀和对象标签。对象前缀和对象标签、对象标签和对象标签之间都为“与”的关系(即所有条件需同时满足)。例如在智能分层归档及深度归档规则中指定对象前缀为 doc,对象标签键值对为 group = IT,则指定的对象范围为当前存储桶中对象键前缀为 doc 且对象标签为 group = IT 的所有对象。

·归档规则:支持配置智能分层对象被转换至归档和深度归档的天数,请至少配置一项。

8. 信息确认无误后,单击确定 ,你即可看到智能分层归档及深度归档规则。

注意:说明:

9. 当需要停止智能分层归档及深度归档规则时,单击编辑 ,将对应规则的状态修改为关闭或者直接删除生命周期规则即可。

10. 开启智能分层存储配置后,在左侧菜单栏中,单击文件列表。

11. 在文件列表页面,单击上传文件。

12. 在弹出的窗口中,选择上传文件,单击参数配置设置对象属性,在存储类型配置项中选择智能分层存储。

13. 单击上传,即可将对象上传为智能分层存储类型,COS 将自动进行数据存储层转换。关于上传操作的其他配置项说明,请参见 上传对象。

20、将云上数据转换为智能分层

用户可以参照以下步骤将已上传的存量数据转换为智能分层存储类型:

1. 在存储桶配置页面,创建生命周期规则,详细流程请参见 设置生命周期 文档。

2. 设置指定的规则应用范围,将数据沉降为智能分层存储。

21、使用 REST API

你可以直接通过以下 API 配置智能分层存储:

1. 首先使用 REST API 为存储桶开启智能分层存储,请参见以下 API 文档:

·开启智能分层、配置低频层转换天数:

·PUT Bucket IntelligentTiering(id=default)

·GET Bucket IntelligentTiering(id=default)

·配置、删除归档及深度归档层规则:

·PUT Bucket IntelligentTiering (id 非 default)

·GET Bucket IntelligentTiering(id 非 default)

·DELETE Bucket IntelligentTiering(id 非 default)

2. 存储桶开启智能分层存储,你可以参见以下 API 文档,将对象上传为智能分层存储类型:

·PUT Object

·PUT Object – Copy

·POST Object

·Initiate Multipart Upload

3. 如需查询对象的存储类型和所处的存储层,请参见以下 API 文档:

·GET Object

·HEAD Object

4. 你可以直接使用 REST API 删除智能分层存储类型的对象,请参见以下 API 文档:

·DELETE Object

·DELETE Multiple Objects

·PUT Bucket Lifecycle

·DELETE Bucket IntelligentTiering

5. 取回智能分层归档层、深度归档层的对象,请参考 API:POST Object restore。

22、使用 SDK

当前 COS 所发布的 SDK 都支持使用智能分层存储类型,具体方法是在文件上传时,将 StorageClass 参数设置为 INTELLIGENT_TIERING 和 MAZ_INTELLIGENT_TIERING,实现直传智能分层存储和智能分层存储(多 AZ)。关于上传对象 SDK 文档,请参见 SDK 概览。

23、使用限制

使用智能分层存储存在以下限制:

·配置限制:开启智能分层后不支持关闭,如不需要使用智能分层类型,可修改文件的存储类型。

·转换天数限制:转换天数一旦配置后不可修改。低频访问层的转换天数,可选值为30、60和90;归档层的转换天数至少为91天,最大值为730天;深度归档层的转换天数至少为180天,最大值为730天,且必须大于归档层的转换天数。

·初始存储层限制:智能分层存储类型的新增对象,默认处于高频访问层;持续一段时间无访问后才会转换至低频访问层。

·最小存储单元限制:小于64KB的对象只能持久存储于高频访问层中,不会在高频访问层和低频访问层之间转换。单个存储文件不论大小,均按实际数据大小计费。

·操作限制:不支持通过追加上传接口将对象上传为智能分层存储类型。

·生命周期限制:智能分层存储类型仅可转换为归档存储或者深度归档存储类型。标准存储类型沉降为智能分层存储类型时,将存储在高频访问层;低频存储类型沉降为智能分层存储类型时,将存储在低频访问层。

·存储桶复制限制:存储桶复制时,如果目标存储桶未开启智能分层存储配置,则无法将对象复制为智能分层存储类型。

25、智能分层存储是如何计费的?

智能分层存储包含智能分层存储容量费用和智能分层对象监控费用。其中:

·智能分层存储容量费用会根据文件所处的存储层收取不同的存储费用。

·当文件处于高频访问层时,按照标准存储容量费用收费。

·当文件处于低频访问层时,按照低频存储容量费用收费。

注意:说明:

·智能分层对象监控费用按存储的文件数来计算,小于64KB的文件不收取,具体定价请参见 产品定价。

示例

假设企业拥有1TB文件,每个文件均大于64KB,总共10万个文件,数据以智能分层存储类型存储在北京地域,并指定转换为低频访问层的时间为30天。假设每30天都会有20%的文件(即2万个文件)沉降到低频访问层,那么每30天的对象监控费用和存储费用,如下表所示:

注意:说明:

注意:下面表格中北京地域的对象监控费用月单价为 0.175元/每万个对象,根据“日单价 = 月单价 / 30”的换算逻辑,则日单价为0.00583333元/万个对象/日。

存储天数 每30天对象监控费用(元) 每30天智能分层存储费用(元) 每30天标准存储费用(元)
30 x 1 0.175元/每万个对象 / 30 x 30 x 10万 = 1.75 1024 x 0.118 / 30 x 30 = 120.83 1024 x 0.118 / 30 x 30 = 120.83
30 x 2 0.175元/每万个对象 / 30 x 30 x 10万 = 1.75 819.2 x 0.118 / 30 x 30 + 204.8 x 0.08 / 30 x 30 = 113.05 1024 x 0.118 / 30 x 30 = 120.83
30 x 3 0.175元/每万个对象 / 30 x 30 x 10万 = 1.75 655.36 x 0.118 / 30 x 30 + 368.64 x 0.08 / 30 x 30 = 106.82 1024 x 0.118 / 30 x 30 = 120.83
30 x 4 0.175元/每万个对象 / 30 x 30 x 10万 = 1.75 524.288 x 0.118 / 30 x 30 + 499.712 x 0.08 / 30 x 30 = 101.84 1024 x 0.118 / 30 x 30 = 120.83
30 x 5 0.175元/每万个对象 / 30 x 30 x 10万 = 1.75 419.4304 x 0.118 / 30 x 30 + 604.5696 x 0.08 / 30 x 30 = 97.86 1024 x 0.118 / 30 x 30 = 120.83
30 x 6 0.175元/每万个对象 / 30 x 30 x 10万 = 1.75 335.54432 x 0.118 / 30 x 30 + 688.45568 x 0.08 / 30 x 30 = 94.67 1024 x 0.118 / 30 x 30 = 120.83

可以看到,随着存储时间越长,每30天只需要付出少量的监控成本,即可带来明显的成本降低。

26、智能分层适用于什么类型文件?

智能分层存储适用于音视频、日志等平均文件较大,且访问模式不固定的文件。平均文件容量越大,意味着你平均每GB文件需要付出的监控费用越少;如果你的业务访问模式比较固定,则意味着你可以通过生命周期配置来指定时间沉降到低频存储上,而不需要使用智能分层存储。

27、如何将文件存储为智能分层存储?

你可以通过以下两种方式将文件存储为智能分层存储:

·增量文件:你只需要在上传时指定存储类型为智能分层存储,即可将文件存储为智能分层存储。

·存量文件:你可以通过 COPY 接口将文件存储类型修改为智能分层存储类型;或者通过生命周期功能,将标准存储,低频存储类型沉降为智能分层存储类型。

注意:小于64KB的智能分层类型的文件会一直存储在高频访问层中。因此小于64KB的文件推荐按需直接上传标准/低频/归档/深度归档等存储类型,这样能够降低成本。

28、如何关闭智能分层存储配置?

智能分层存储配置开启后无法关闭,如果你无需将文件存储为智能分层存储,你只需要在上传文件时将文件存储类型指定为标准存储、低频存储、归档存储或者深度归档存储等非智能分层存储类型即可。

智能分层归档层/深度归档层规则支持删除,你可以将对应的规则删除,避免新的智能分层存储的对象沉降到归档层/深度归档层。

29、智能分层的归档和深度归档层如何收费?

·存储费用:按照同地域归档和深度归档存储收费。

·取回费用、取回请求费用:除归档层快速取回费用外,不收取其他取回费用、取回请求费用。

·回热副本费用:不收取。

赞 (0)
上一篇 4天前
下一篇 4天前