高性能应用服务 HAI 数据操作

对象存储(Cloud Object Storage,COS)是腾讯云提供的一种存储海量文件的分布式存储服务,可通过网络随时存储和查看数据。与高性能应用服务 HAI 之间支持同地域内网连接,实现高速网络上传和下载。

相关产品
高性能应用服务 HAI 产品页,含版本规格、价格与购买入口。

一、操作场景

这篇中以 COSCMD 工具为例,通过简单的指令对你的文件实现批量上传、下载、删除等操作。

二、前置条件

在通过 对象存储 COS 与高性能应用服务 HAI 之间上传和下载数据之前,请确保你已经拥有 COS 存储桶,并且已开启相应的读写权限。具体可参见 创建存储桶 和 设置访问权限。

三、安装与配置 COSCMD 工具

1、执行 pip 命令进行安装。

pip install coscmd

2、安装完成后,执行以下命令进行更新。

pip install coscmd -U

3、首次使用前必须生成配置文件,命令具体格式如下:

coscmd config [OPTION]…<FILE>… [-h] –help [-a] <SECRET_ID> [-s] <SECRET_KEY> [-t] <TOKEN> [-b] <BucketName-APPID> [-r] <REGION> | [-e] <ENDPOINT> [-m] <MAX_THREAD> [-p] <PART_SIZE> [–do-not-use-ssl] [–anonymous]

注意:说明:

注意:其中 "[]" 中的字段为选项, "<>" 的字段为需要填写的参数。

参数配置说明如下:

选项 参数说明 有效值 是否必选
-a 密钥 ID 请前往 API 密钥控制台 获取。 字符串 是
-s 密钥 Key 请前往 API 密钥控制台 获取。 字符串 是
-t 临时密钥 token,当使用临时密钥时需要配置,设置 x-cos-security-token 头部。 字符串 否
-b 指定的存储桶名称,存储桶的命名格式为 BucketName-APPID,请参见 命名规范 。初次配置使用时,你需要在 COS 控制台创建一个存储桶,用于配置工具。 字符串 是
-r 存储桶所在地域,请参见 地域和访问域名。 字符串 是
-e 设置请求的 ENDPOINT,设置 ENDPOINT 参数后,REGION 参数会失效。当你使用的是默认域名,则此处配置格式为 cos.<region>.myqcloud.com;当你使用全球加速域名,则配置为 cos.accelerate.myqcloud.com。 字符串 否
-m 多线程操作的最大线程数(默认为5,范围为1 – 30)。如果上传文件缓慢,可适当调高该值。线程数取决于机器性能,通常情况下设置为30,即可跑满带宽。例如将并发线程调整为30,执行命令为 coscmd config -m 30。 数字 否
-p 分块操作的单块大小(单位 MB,默认为1MB,范围为1 – 1000)。如果上传文件缓慢,可适当调高该值。 数字 否
–do-not-use-ssl 使用 HTTP 协议,而不使用 HTTPS。 字符串 否
–anonymous 匿名操作(不携带签名)。 字符串 否

一般情况下仅需填写必填值,config 命令的使用示例如下:

coscmd config -a AChT4ThiXAbpBDEFGhT4ThiXAbp**** -s WE54wreefvds3462refgwewe**** -b bucket-1250000000 -r ap-chengdu

四、从 HAI 上传文件到 COS

1. 上传文件命令格式:

coscmd upload <localpath> <cospath>

2. 上传文件夹命令格式:

coscmd upload -r <localpath> <cospath>

注意:请将 "<>" 中的参数替换为你需要上传的本地文件路径(localpath),以及 COS 上存储的路径(cospath)。

举例:

将 HAI 算力实例根目录的 test.pth 文件上传到 COS 的 model 目录下。

coscmd upload test.pth model/

截图如下:

五、从 COS 下载文件到 HAI

1. 下载文件命令格式:

coscmd download <cospath> <localpath>

2. 下载文件夹命令格式:

coscmd download -r <cospath> <localpath>

注意:请将 "<>" 中的参数替换为你需要下载的 COS 上文件的路径(cospath),以及本地存储路径(localpath)。

举例:

下载 COS 上的 test.pth 到 HAI 算力实例根目录,并保持文件名不变。

coscmd download test.pth test.pth

截图如下:

六、在 HAI 中查看 COS 文件

1. 查看文件命令格式:

coscmd list <cospath>

举例:

递归查询该存储桶下 doc/ 前缀下所有的文件列表。

coscmd list model/

截图如下:

七、在 COS 控制台管理文件

COS 控制台提供最简单且易于上手的操作方式。用户无需编写代码或运行程序,可直接通过 COS 控制台操作存储桶、上传和分享数据以及数据备份、批量处理等,具体操作指引可参见 COS 控制台指南。

八、更多 COSCMD 操作

更多关于 COSCMD 的操作可参见 COSCMD 工具指南。

赞 (0)
上一篇 4天前
下一篇 4天前