云服务器特惠 99/年起
  1. 腾讯云优惠网首页
  2. 腾讯云产品

腾讯云大模型训推平台TI-ONE 内置推理镜像列表

• 腾讯云产品

TI-ONE 平台在线服务模块为用户内置了数十种业界主流推理框架，按场景划分为四大类。

相关产品
腾讯云大模型训推平台TI-ONE 产品页，含版本规格、价格与购买入口。

一、简介

·大语言模型 & 多模态理解：以 vLLM、SGLang 为核心，同时内置腾讯自研 TACO / TACO-X 全异步推理框架（面向 Qwen3、GLM-5 等系列模型专项优化），大部分 LLM 镜像支持多机分布式部署。

·多模态生成：涵盖 Stable Diffusion WebUI、Diffusers（含 mosec 高性能封装版，适配 A10/T4 加速卡）、ComfyUI 节点式工作流等图像生成方案。

·具身智能：基于 NVIDIA COSMOS 世界模型的 transfer 与 predict 系列（cosmos-transfer1/2.5、cosmos-predict2/2.5），预装 PyTorch + diffusers + flash-attn 完整工具链，支持 PNV6/HCCPNV6/H100/H800 等卡型。

·通用框架：包含 PyTorch（GPU/CPU 多版本）、TensorFlow / TF Serving（1.x 及 2.x 全系列）、ONNX Runtime（跨框架转换部署）、Detectron2（目标检测与分割）、MMDetection（OpenMMLab 目标检测）、Triton + TRT-LLM（NVIDIA 推理服务化）及 PMML（传统机器学习）等，满足 CV/NLP/工业视觉等全场景模型部署需求。

所有内置镜像均已预配置运行环境依赖（CUDA、Python、推理引擎及加速库等），用户在创建推理服务时可直接选用对应镜像，无需手动构建基础环境。

二、大语言&多模态理解

框架 镜像名称 多机分布式部署 镜像描述
VLLM vllm(0.9.1) 支持 大模型推理框架 vLLM，开源版本 v0.9.1
VLLM vllm(0.20.2) 支持 大模型推理框架 vLLM，开源版本 v0.20.2，CUDA 13.0 环境
VLLM vllm(0.20.1) 支持 大模型推理框架 vLLM，开源版本 v0.20.1，CUDA 12.9 环境
VLLM vllm(0.20.0) 支持 大模型推理框架 vLLM，开源版本 v0.20.0，CUDA 12.9 环境
VLLM vllm(0.19.1) 支持 大模型推理框架 vLLM，开源版本 v0.19.1
VLLM vllm(0.19.0) 支持 大模型推理框架 vLLM，开源版本 v0.19.0
VLLM vllm(0.18.1) 支持 大模型推理框架 vLLM，开源版本 v0.18.1
VLLM vllm(0.15.0) 支持 大模型推理框架 vLLM，开源版本 v0.15.0
VLLM vllm(0.12.0) 支持 大模型推理框架 vLLM，开源版本 v0.12.0
VLLM vllm(0.10.2) 支持 大模型推理框架 vLLM，开源版本 v0.10.2，额外支持 Youtu 系列和 Hunyuan-Dense 系列模型
VLLM vllm(0.10.0) 支持 大模型推理框架 vLLM，开源版本 v0.10.0
VLLM angel-vllm-cu130(0.19.0) 不支持 大模型推理框架 vLLM，基于开源版本 v0.19.0 的腾讯 Angel 自研加速版本（额外支持 dpgemm_fp8 量化方式，不兼容 qGPU）
VLLM angel-vllm-cu128(0.9.2) 支持 大模型推理框架 vLLM，基于开源版本 v0.9.2 的腾讯 Angel 自研加速版本（额外支持 dpgemm_fp8 量化方式，不兼容 qGPU）
VLLM angel-vllm-cu128(0.10.2) 不支持 大模型推理框架 vLLM，基于开源版本 v0.10.2 的腾讯 Angel 自研加速版本（额外支持 dpgemm_fp8 量化方式，不兼容 qGPU）
VLLM angel-vllm(2.1) 支持 大模型推理框架 vLLM，基于开源版本 v0.6.2 的腾讯 Angel 自研加速版本（额外支持 ifq 等动态量化方式，额外支持 lookahead 并行解码）
VLLM angel-vllm(2.0) 支持 大模型推理框架 vLLM，基于开源版本 v0.4.2 的腾讯 Angel 自研加速版本
VLLM angel-vllm(0.9.2) 支持 大模型推理框架 vLLM，基于开源版本 v0.9.2 的腾讯 Angel 自研加速版本（额外支持 dpgemm_fp8 量化方式，兼容 qGPU）
SGLANG sglang-v0.5.9-nightly 支持 大模型推理框架 SGLang，开源版本 v0.5.9
SGLANG sglang-v0.5.6-xpu 支持 大模型推理框架 SGLang v0.5.6，昆仑芯 P800 20260509_4188版本
SGLANG sglang-v0.5.6.post2 支持 大模型推理框架 SGLang，开源版本 v0.5.6.post2
SGLANG sglang-v0.5.2 支持 大模型推理框架 SGLang，开源版本 v0.5.2
SGLANG sglang-v0.5.10 支持 大模型推理框架 SGLang，开源版本 v0.5.10
SGLANG sglang-v0.4.6.post4-dev 支持 大模型推理框架 SGLang，开源版本 v0.4.6.post4
SGLANG sglang-v0.4.4.post2-dev 支持 大模型推理框架 SGLang，开源版本 v0.4.4.post2
SGLANG sglang-v0.4.3-dev 支持 大模型推理框架 SGLang，开源版本 v0.4.3
TACO taco-x-v26.04.20 不支持 腾讯自研大模型推理框架，采用全异步设计，在推理性能、显存占用、启动耗时等方面显著优于社区方案。适用于 Qwen3、Qwen2.5-VL、Qwen3-VL 系列模型。
TACO taco-sglang-v26.03.26 支持 腾讯自研大模型推理框架，采用全异步设计，在推理性能、显存占用、启动耗时等方面显著优于社区方案。该镜像仅支持加速 GLM-5 系列模型。
TACO taco-sglang-router-v26.03.26 支持 腾讯自研大模型推理框架，采用全异步设计，在推理性能、显存占用、启动耗时等方面显著优于社区方案。该镜像仅支持加速 GLM-5 系列模型。是多角色部署时 proxy 角色的内置镜像。
TACO-X taco-x-v0.0.1 不支持 腾讯自研大模型推理框架，采用全异步设计，在推理性能、显存占用、启动耗时等方面显著优于社区方案。

三、多模态生成

框架 镜像名称 多机分布式部署 镜像描述
STABLEDIFFUSION-WebUI sd-webui-1.6.0(gpu) 不支持 sd-webui1.6镜像
DIFFUSERS stable-diffusion-diffusers(gpu) 不支持 图像生成推理框架，Diffusers 开源版本
DIFFUSERS stabe-diffusion-mosec-a10(gpu) 不支持 图像生成推理框架，基于 mosec 镜像封装，内置 A10 加速包
DIFFUSERS stabe-diffusion-mosec(gpu) 不支持 图像生成推理框架，基于 mosec 镜像封装，内置 T4 加速包
COMFYUI comfyui-0.3.76-py311-cu128 不支持 ComfyUI 是基于 Stable Diffusion 的节点式图形用户界面，专为 AI 绘画和图像生成设计

四、具身智能

框架 镜像名称 多机分布式部署 镜像描述
COSMOS cosmos-transfer2.5-cu128 不支持 核心库：CUDA 12.8，uv，jupyterlab 4.4.9uv 环境：- cosmos-transfer2：python3.10，torch 2.7.0+cu128，torchvision 0.22.0+cu128，diffusers==0.35.2，cosmos-cuda==1.4.1，cosmos-guardrail==0.1.0，cosmos-oss==1.4.1，cosmos-transfer2==1.4.1，flash-attn==2.7.3+cu128.torch27适用的模型：cosmos-transfer2.5，进入镜像的 /workspace/cosmos-transfer2.5 目录获取代码示例。支持的卡型：PNV6，HCCPNV6，H100，H800
COSMOS cosmos-transfer1-cu128 不支持 核心库：CUDA 12.8，miniforge3，jupyterlab 4.3.6，jupyterlab-tensorboard-pro 4.0.0conda 环境： – cosmos：python3.12，torch 2.7.1+cu128，torchvision 0.22.1+cu128，apex 0.1，transformer_engine 1.13.0+cu128，flash_attn 2.6.3+cu128适用的模型：cosmos-transfer1，进入镜像的 /workspace/cosmos-transfer1 目录获取代码示例支持的卡型：PNV6，HCCPNV6，H100，H800
COSMOS cosmos-predict2-cu128 不支持 核心库：CUDA 12.8，uv，jupyterlab 4.4.9uv 环境：- cosmos-predict2：python3.12，torch 2.6.0+cu126，torchvision 0.21.0+cu126，diffusers==0.34.0，cosmos-guardrail==0.1.0，apex==0.1.0，flash-attn==2.6.3适用的模型：cosmos-predict2，进入镜像的 /workspace/cosmos-predict2 目录获取代码示例。支持的卡型：PNV6，HCCPNV6，H100，H800
COSMOS cosmos-predict2.5-cu128 不支持 核心库：CUDA 12.8，uv，jupyterlab 4.4.9uv 环境：- cosmos-predict2：python3.10，torch 2.7.0+cu128，torchvision 0.22.0+cu128，diffusers==0.35.2，cosmos-cuda==1.4.1，cosmos-guardrail==0.1.0，cosmos-oss==1.4.1，cosmos-transfer2==1.4.1，flash-attn==2.7.3+cu128.torch27适用的模型：cosmos-predict2.5，进入镜像的 /workspace/cosmos-predict2.5 目录获取代码示例。支持的卡型：PNV6，HCCPNV6，H100，H800

五、通用框架

框架 镜像名称 多机分布式部署 镜像描述
PYTORCH pytorch2.1.0-py310 不支持 深度学习框架，适用于 CV/NLP 场景模型部署，GPU 版
PYTORCH pytorch1.9.0-py38(gpu) 不支持 深度学习框架，适用于 CV/NLP 场景模型部署，GPU 版
PYTORCH pytorch1.9.0-py38(cpu) 不支持 深度学习框架，适用于 CV/NLP 场景模型部署，CPU 版
PYTORCH pytorch1.12.0-py38(gpu) 不支持 深度学习框架，适用于 CV/NLP 场景模型部署，GPU 版
PYTORCH alpamayo-inference 不支持 支持 Alpamayo-R1-10B 自动驾驶模型推理
TENSORFLOW tfserving2.4 不支持 tfserving2.4镜像
TENSORFLOW tfserving1.15 不支持 tfserving 1.15镜像
TENSORFLOW tensorflow2.4-py38(gpu) 不支持 tfserving2.4 镜像 python+gpu 版本
TENSORFLOW tensorflow2.4-py38(cpu) 不支持 tfserving2.4 镜像 python 无 gpu 版本
TENSORFLOW tensorflow1.15-py37(gpu) 不支持 tfserving1.15 镜像 python+ gpu 版本
TENSORFLOW tensorflow1.15-py37(cpu) 不支持 tfserving1.15 镜像 python 无 gpu 版本
DETECTRON2 detectron2-py38(gpu) 不支持 目标检测与分割库，适用于工业领域下的目标检测/目标分割、视频分析等场景
ONNX onnx1.11.1-py38(gpu) 不支持 深度学习框架，适用于跨框架模型转换部署(如 PyTorch/TensorFlow 模型转为统一格式)，GPU 版
ONNX onnx1.11.1-py38(cpu) 不支持 深度学习框架，适用于跨框架模型转换部署(如 PyTorch/TensorFlow 模型转为统一格式)，CPU 版
MMDETECTION mmdetection1.4.8-py38(gpu) 不支持 目标检测与分割库，由 OpenMMLab 开发
TRITON 23.10-py3-trtllm-0.7.1 不支持 triton + trtllm 推理镜像（0.7.1版本的 trtllm）
PMML jpmml-py38 不支持 传统机器学习推理框架

相关内容：

  1. 腾讯云大模型训推平台TI-ONE 内置训练镜像列表 TI-ONE 内置了主流的 TensorFlow、PyTorch、PySpark 等深度学习和机器学习框架，同时推出了自研训练加速框架 Angel，其中 tilearn-llm 是为大模型定制的训练加速组件，已内置在平台内置镜像中，同时支持开发机和任务式建模；此外 TI-ONE 也内置了自驾行业镜像和具身智能行业镜像，相关行业用户可以快速使用内置镜像构建所需模型。...
  2. 腾讯云大模型训推平台TI-ONE Cosmos-Predict2 推理和精调指引 Cosmos-Predict2 是英伟达（NVIDIA）开源的一套物理 AI 世界基础模型，属于 Cosmos 世界基础模型系列，专门用于从文本、图像或视频生成具有物理合理性的未来世界状态，为机器人、自动驾驶等物理 AI 系统提供合成数据和仿真环境。这篇档将介绍如何在 TIONE 平台上进行 Cosmos-Predict2 系列模型的部署和精调。...
  3. 腾讯云大模型训推平台TI-ONE 大模型推理参数指南 腾讯云大模型训推平台TI-ONE 的大模型推理参数指南。...
  4. 腾讯云大模型训推平台TI-ONE 部署自定义 LLM 大模型（用户自定义推理镜像） 这篇指导你通过 TI-ONE 平台的在线服务模块，使用开源推理镜像（vLLM 或 SGLang）部署自定义大模型推理服务。请先将需要部署的模型文件上传到自己的 CFS 文件存储系统中，推荐以下两种上传方式。...
  5. 腾讯云大模型训推平台TI-ONE Angel 推理加速功能介绍 Angel-vLLM 是腾讯云 AI 加速团队基于开源 vLLM 深度优化的推理加速框架。在保持和社区 vLLM 相同使用接口和完全兼容社区 vLLM 功能的同时，具备如下特点。...
  6. TencentOS Server TencentOS 场景镜像 TencentOS AI 容器镜像是腾讯云优化和维护的、即开即用的 AI 容器镜像集。TencentOS AI 容器镜像预安装经过适配及优化的 AI 框架、加速库与运行时环境，为用户的不同场景提供了无缝衔接的 AI 开发与部署体验。无论是国际主流 GPU 还是国产 AI 芯片，TencentOS AI 容器镜像都可以帮助你构建稳定、高性能的 AI 应用环境，降低环境配置的复杂度和成本。...
  7. 腾讯云大模型训推平台TI-ONE 使用平台内置镜像发布在线服务开发指引 平台预置了适配主流深度学习和机器学习框架（TensorFlow、PyTorch、PySpark等）的推理镜像，用户可以直接使用平台预置推理镜像部署模型，节省在线服务部署的开发成本。...
  8. 腾讯云大模型训推平台TI-ONE Angel 训练加速功能介绍 Tilearn-Angel 由 tiacc_training 升级而来，提供兼容 huggingface 生态的大模型训练加速能力，支持手工 cuda 算子结合自动编译优化的计算优化能力，支持兼容 huggingface 生态的 3D 混合并行（TensorParallel、PipelineParallel、DateParallel），支持兼容原生的 DDP 的通信加速能力，用户无需修改原生的使用代码、无需进行模型转。...
赞 (0)
上一篇 4天前
下一篇 4天前