腾讯云大模型训推平台TI-ONE 模型管理简介

模型管理是腾讯云大模型训推平台 TI-ONE 提供模型注册、优化的模块,包含模型仓库和模型优化两个子模块。TI-ONE 模型仓库是一个统一的模型资产管理平台,提供模型的全生命周期管理能力。

相关产品
腾讯云大模型训推平台TI-ONE 产品页,含版本规格、价格与购买入口。

·统一管理:集中管理从训练到部署的所有模型版本

·版本控制:支持模型版本管理和模型文件管理

·上下游集成:与任务式建模、在线服务、批量预测、模型优化等模块打通

·多存储支持:支持 COS、CFS、GooseFSx、数据源等多种存储方式

模型优化是 TI-ONE 平台模型推理加速的模块,使用了 TI-ACC 的能力,可对模型仓库里纳管的模型进行推理优化加速,降本增效,模型优化后的模型仅能支持在 TI-ONE 平台模型服务进行推理服务使用。

·支持模型仓库纳管的模型进行推理加速

·支持快速进行批量模型加速

·支持对 CV、NLP、以及 OCR 等领域常用模型进行加速

·优化级别支持无损、FP16 两种级别

·支持对多输入节点、固定&动态 shape 的模型进行优化

·支持输出模型推理部分的加速报告

·支持对优化后的模型保存到模型仓库进行服务发布

赞 (0)
上一篇 4天前
下一篇 4天前