腾讯云大模型训推平台TI-ONE 模型仓库使用

模型仓库是 TI-ONE 平台上 统一的模型资产管理中心,提供从模型导入、版本管理到部署推理的全生命周期、全链路管理能力。

相关产品
腾讯云大模型训推平台TI-ONE 产品页,含版本规格、价格与购买入口。

一、前置条件

1. 已开通权限,需要申请以下权限(联系管理员申请):

·TI-ONE 平台访问权限

·模型仓库的"查看"和"编辑"权限

2. 已配置存储服务,至少配置以下一种存储

·COS(对象存储):腾讯云 COS 存储桶

·CFS(文件存储):云文件系统

·GooseFSx:高性能分布式存储

·数据源:平台内的 数据源 配置

3. 已准备好模型文件

确保你的模型文件已保存在上述存储中,具体要求见 模型包规范。

二、模型列表

模型仓库列表中可查看模型及对应的版本,并对模型进行发布在线服务等操作,分为模型列表和优化模型列表,模型列表为客户上传上来的原始模型列表,优化模型列表为经过模型优化后保存的优化后的模型列表。

·支持对模型标签进行编辑,在模型详情页单击编辑标签按钮,可进行标签编辑。

·支持对模型版本发布封装,在某一个模型版本单击发布在线服务,可跳转到在线服务新建服务页面进行在线服务发布。

·支持对模型版本进行优化,在某一个模型版本点击优化模型,可跳转到模型优化新建任务页面进行优化。(仅支持 COS 的存储类型)。

·支持对模型版本发布封装,在某一个模型版本单击发布在线服务,可跳转到在线服务的新建服务页面,进行在线服务发布

·支持对模型版本进行批量预测,在某一个模型版本单击批量预测,可跳转到批量预测新建任务页面进行批量预测。(仅支持 COS 的存储类型)

·支持对模型版本进行更新,在某一个模型版本单击更新现有版本,可在当前模型版本目录下新增目录和版本,主要用于 TFServing 热更新。(仅支持对 SavedModel 格式进行导入子版本以及仅支持 COS 的存储类型)。

·支持下载 SDK 操作,单击下载按钮可打开 COSBrowser 进行下载。你需要先安装 COSBrowser 客户端。(仅支持 COS 的存储类型)

·支持删除模型和删除版本,注意删除后不可恢复。

三、新建模型/版本

进入模型管理 > 模型仓库,单击新建模型 按钮,开始新建模型/新建版本。

四、新建模型

1. 进入模型仓库页面,单击新建模型,新建方式选择新建模型。

2. 填写模型基本信息:

·模型名称(必填):不超过 256 个字符,仅支持中英文、数字、下划线"_"、短横"-",只能以中英文、数字开头

·模型描述(选填):不超过 300 个字符

·业务标签(选填):从业务视角对模型进行归类,例如按"业务领域"、"应用场景"等维度打标

·标签(选填):腾讯云统一的云上资源标记(需要先从控制台进行 标签设置)

3. 配置版本信息:

·版本号:自动生成 v1

·模型格式(必填):选择对应的模型格式。

·模型框架(必填):根据模型格式自动映射。

模型格式 分类 模型框架
Hugging Face 大模型 SafeTensorTransformersDiffusers (Stable Diffusion)
TorchScript 深度学习 PyTorch
PyTorch(.pth) 深度学习 PyTorch
SavedModel 机器学习/深度学习 TensorFlow
TensorRT 推理加速 TensorRT
ONNX 通用格式 ONNX
XGBoost 机器学习 XGBoost
Detectron2 机器学习 Detectron2
MMDetection 机器学习 MMDetection
PMML 机器学习 —
Frozen Graph 机器学习 TensorFlow
Custom 自定义 Custom

·来源(必填):选择模型文件的存储位置。支持选择 CFS、COS、GooseFSx、数据源以及任务式建模。配置方式详见下表:

来源类型 说明 配置方式
CFS CFS 文件系统 选择 CFS 文件系统 + 输入模型存储路径
COS COS 对象存储 选择 COS 存储桶 + 选择路径
GooseFSx GooseFSx 存储 选择 GooseFSx + 输入模型存储路径
数据源 平台数据源 选择数据源 + 输入模型存储路径
任务式建模 从训练任务导入 选择任务 + 选择 checkpoint (内置大模型)或输入模型路径(非内置大模型)

·推理镜像(选填):选择内置镜像或自定义镜像,配置推理镜像用于一键发布服务。

注意:上传的模型文件,请参考 模型包规范。

五、新建版本

1. 进入模型仓库页面,单击新建模型,新建方式选择新建版本。

2. 选择模型名称,在该模型下新建版本。

3. 模型版本号将自动递增(例如 v1 → v2 → v3)。

4. 版本信息与上述新建模型中的填写方式一致。完成以上配置后,单击确定按钮,模型即新建成功。

六、查看模型详情

在模型列表页,单击模型名称,即可跳转到模型详情页,查看模型版本列表,版本信息、模型文件和服务列表。

七、模型文件

模型文件预览仅支持:

·文件后缀为:json、jsonl、yaml、yml、ini、csv、txt、log、py、sh、md

·文件大小:小于1MB

·文件存储使用的 CFS

·文件不为空

注意:GooseFSx/CFS 暂时不支持预览,如需预览可通过开发机挂载存储的方式。

八、服务列表

服务列表可在此查看基于此模型任何版本,创建的在线服务。

九、删除模型/版本

当不再需要某个模型或某个模型版本时,支持删除指定的模型或版本。

删除模型:在模型管理的列表页,点击删除操作,经过用户二次确认后将删除该模型下的所有版本。

删除版本:单击某个模型名称进入详情页面,在版本列表中选择某个版本,单击删除后经过二次确认将删除该模型版本。若当前版本是该模型的最后一个版本,删除后将删除该模型。

十、发布在线服务

原始模型在原始模型列表对应的模型版本操作中,单击发布在线服务进行服务的发布封装,优化模型在原始模型列表对应的模型版本操作中,单击发布在线服务进行服务的发布封装,后续详细步骤请参考 在线服务 对模型进行部署和使用。

十一、模型优化

原始模型列表的模型可在模型优化模块进行推理加速,请参考 模型优化 对模型进行推理加速。

十二、Q1:新版模型仓库与旧版本的区别?

主要改进:

·统一入口,新旧版本合并

·支持 CFS 和 COS 双存储

·打通上下游任务链路

·完善的版本管理能力

十三、Q2:删除模型后,关联服务会受影响吗?

影响说明:

·在线服务:影响查询、更新、重启操作(服务仍可正常运行)

·批量预测:不影响任务运行

·模型优化:影响重新加速操作

注意:原始数据文件不会被删除,仅删除平台上的模型记录。

十四、Q3:从任务式建模发布模型时,按钮被禁用?

常见原因:

·❌ 任务状态不是"已完成"

·❌ 未配置 COS/CFS 训练输出路径

·❌ 存储类型不支持(HDFS、GooseFS 暂不支持)

十五、Q4:支持哪些模型格式的优化?

·支持 TorchScript、MMDetection、Detectron2、Hugging Face-Stable Diffusion、ONNX、SavedModel、Frozen Graph 格式的优化。

十六、Q5: 模型格式表格中的"Custom"是什么?

如果你的模型格式不在列表中,或需要自定义推理逻辑,可以选择 Custom,然后配置自定义推理镜像(需要编写推理服务代码)。

十七、Q6:什么是"业务标签"和"标签"?

·业务标签:用于业务层面分类,如"推荐系统"、"风控模型",TI-ONE 平台内使用。

·标签:腾讯云统一的资源标签,用于跨产品的资源管理和成本分摊(需先在控制台创建)。

赞 (0)
上一篇 4天前
下一篇 4天前