一、操作场景
这篇中以 COSCMD 工具为例,通过简单的指令对你的文件实现批量上传、下载、删除等操作。
二、前置条件
在通过 对象存储 COS 与高性能应用服务 HAI 之间上传和下载数据之前,请确保你已经拥有 COS 存储桶,并且已开启相应的读写权限。具体可参见 创建存储桶 和 设置访问权限。
三、安装与配置 COSCMD 工具
1、执行 pip 命令进行安装。
pip install coscmd
2、安装完成后,执行以下命令进行更新。
pip install coscmd -U
3、首次使用前必须生成配置文件,命令具体格式如下:
coscmd config [OPTION]…<FILE>… [-h] –help [-a] <SECRET_ID> [-s] <SECRET_KEY> [-t] <TOKEN> [-b] <BucketName-APPID> [-r] <REGION> | [-e] <ENDPOINT> [-m] <MAX_THREAD> [-p] <PART_SIZE> [–do-not-use-ssl] [–anonymous]
注意:说明:
注意:其中 "[]" 中的字段为选项, "<>" 的字段为需要填写的参数。
参数配置说明如下:
| 选项 | 参数说明 | 有效值 | 是否必选 |
| -a | 密钥 ID 请前往 API 密钥控制台 获取。 | 字符串 | 是 |
| -s | 密钥 Key 请前往 API 密钥控制台 获取。 | 字符串 | 是 |
| -t | 临时密钥 token,当使用临时密钥时需要配置,设置 x-cos-security-token 头部。 | 字符串 | 否 |
| -b | 指定的存储桶名称,存储桶的命名格式为 BucketName-APPID,请参见 命名规范 。初次配置使用时,你需要在 COS 控制台创建一个存储桶,用于配置工具。 | 字符串 | 是 |
| -r | 存储桶所在地域,请参见 地域和访问域名。 | 字符串 | 是 |
| -e | 设置请求的 ENDPOINT,设置 ENDPOINT 参数后,REGION 参数会失效。当你使用的是默认域名,则此处配置格式为 cos.<region>.myqcloud.com;当你使用全球加速域名,则配置为 cos.accelerate.myqcloud.com。 | 字符串 | 否 |
| -m | 多线程操作的最大线程数(默认为5,范围为1 – 30)。如果上传文件缓慢,可适当调高该值。线程数取决于机器性能,通常情况下设置为30,即可跑满带宽。例如将并发线程调整为30,执行命令为 coscmd config -m 30。 | 数字 | 否 |
| -p | 分块操作的单块大小(单位 MB,默认为1MB,范围为1 – 1000)。如果上传文件缓慢,可适当调高该值。 | 数字 | 否 |
| –do-not-use-ssl | 使用 HTTP 协议,而不使用 HTTPS。 | 字符串 | 否 |
| –anonymous | 匿名操作(不携带签名)。 | 字符串 | 否 |
一般情况下仅需填写必填值,config 命令的使用示例如下:
coscmd config -a AChT4ThiXAbpBDEFGhT4ThiXAbp**** -s WE54wreefvds3462refgwewe**** -b bucket-1250000000 -r ap-chengdu
四、从 HAI 上传文件到 COS
1. 上传文件命令格式:
coscmd upload <localpath> <cospath>
2. 上传文件夹命令格式:
coscmd upload -r <localpath> <cospath>
注意:请将 "<>" 中的参数替换为你需要上传的本地文件路径(localpath),以及 COS 上存储的路径(cospath)。
举例:
将 HAI 算力实例根目录的 test.pth 文件上传到 COS 的 model 目录下。
coscmd upload test.pth model/
截图如下:
五、从 COS 下载文件到 HAI
1. 下载文件命令格式:
coscmd download <cospath> <localpath>
2. 下载文件夹命令格式:
coscmd download -r <cospath> <localpath>
注意:请将 "<>" 中的参数替换为你需要下载的 COS 上文件的路径(cospath),以及本地存储路径(localpath)。
举例:
下载 COS 上的 test.pth 到 HAI 算力实例根目录,并保持文件名不变。
coscmd download test.pth test.pth
截图如下:
六、在 HAI 中查看 COS 文件
1. 查看文件命令格式:
coscmd list <cospath>
举例:
递归查询该存储桶下 doc/ 前缀下所有的文件列表。
coscmd list model/
截图如下:
七、在 COS 控制台管理文件
COS 控制台提供最简单且易于上手的操作方式。用户无需编写代码或运行程序,可直接通过 COS 控制台操作存储桶、上传和分享数据以及数据备份、批量处理等,具体操作指引可参见 COS 控制台指南。
八、更多 COSCMD 操作
更多关于 COSCMD 的操作可参见 COSCMD 工具指南。