云服务器特惠 99/年起
  1. 腾讯云优惠网首页
  2. 腾讯云产品

计算加速套件 TACO Kit 产品简介（TACO DiT 概述）

• 腾讯云产品

TACO DiT（TencentCloud Accelerated Computing Optimization DiT）是一款基于腾讯云异构计算产品开发的生图模型（DiT）推理加速引擎，专注于提升文生图、文生视频以及图生视频等场景的推理效率。TACO DiT 支持单卡加速以及业内独特的多卡并行加速能力，在满足客户生成速率的前提下，还能够有效控制生成成本，帮助客户优化业务成本结构。

相关产品
计算加速套件 TACO Kit 产品页，含版本规格、价格与购买入口。

作为一款可扩展的高性能推理 DiT 引擎，TACO DiT 能够兼容 GPU 以及紫霄硬件，其核心能力概括如下：

·支持主干网络混合并行

TACO DiT 提供六种基础并行方法，其中 Data、Sequence、PipeFusion 和 CFG 可以灵活组合使用，以适配底层硬件并扩展至大规模集群。此外，DistriFusion 和 TensorParallel 两种并行策略则作为独立方案运行。

·支持解码模块 VAE 并行

针对扩散模型后处理中的解码 VAE 模块在生成高分辨率图像时可能出现的 OOM 问题，TACO DiT 开发了 Patch Parallel 版本的 VAE，有效提升了处理效率。

·支持多种模型

目前，TACO DiT 已兼容多种主流文生图和视频生成模型，包括 Stable Diffusion、Flux 以及 CogVideoX 等。

·兼容其他加速模块

TACO DiT 能够与多种计算加速模块协同工作，例如 FlashAttention、TensorRT 和 torch.compile 等算子及编译加速方案，同时支持在公有云和私有化环境中部署和使用。

相关内容：

  1. 计算加速套件 TACO Kit 产品简介（TACO LLM 概述） TACO-LLM（TencentCloud Accelerated Computing Optimization LLM） 是基于腾讯云异构计算产品推出的一款大语言模型（LLM）推理加速引擎，用于提高大语言模型的推理效能。通过充分利用计算资源的并行计算能力，TACO-LLM 能够同时处理更多的大语言模型推理请求，为客户提供兼顾高吞吐和低时延的优化方案。TACO-LLM 可以降低生成结果的等待时间，提高推理流程效率，助。...
  2. 计算加速套件 TACO Kit 支持模型（TACO DiT 概述） 目前 TACO DiT 可支持大部分主流模型，满足 AIGC 图像创作需求。TACO DiT 优化节点兼容 ComfyUI 工作流，客户无需改造，可无缝迁移业务。...
  3. 计算加速套件 TACO Kit 应用场景提供计算加速套件TACO Kit 应用场景说明 计算加速套件 TACO Kit（TencentCloud Accelerated Computing Optimization Kit）是一种异构计算加速软件服务，具备领先的 GPU 共享技术和 GPU 在离线混部能力，搭配腾讯自研的软硬件协同优化组件和硬件厂商特有优化方案，支持物理机、云服务器、容器等产品的计算加速、AI 训练及推理加速等各个应用场景，帮助用户实现全方位全场景的降本增效。...
  4. 计算加速套件 TACO Kit 购买指南 TACO 系列产品包括 TACO Train、TACO LLM 和 TACO DiT 等组件，这些组件都支持独立私有化部署，集成至 腾讯云智算 套件私有化部署或者公有云部署。不同的部署方式采用不同的计费方式，如需了解具体计费细节，请 联系我们。...
  5. 计算加速套件 TACO Kit TACO LLM 安装 TACO-LLM 需要依赖 GPU 相关的基础软件，如 GPU 驱动 /CUDA 等。为了避免基础软件依赖导致 TACO-LLM 无法正常运行，我们提供了 TACO-LLM docker环境镜像，建议你优先使用该镜像作为 TACO-LLM 的运行环境。按照如下命令可以获取 docker 镜像并启动容器环境。...
  6. 计算加速套件 TACO Kit 产品优势 计算加速套件 TACO Kit 通过软硬件协同优化，能够适配 CPU、GPU、NPU 等多种加速硬件。在训练场景和推理场景中，该套件不仅有效降低用户使用计算资源的学习成本，还显著提升了计算效能。...
  7. 计算加速套件 TACO Kit 应用场景（TACO DiT 概述） 随着当前文生图、文生视频、图生视频技术的快速发展，TACO DiT 的应用场景可分为在线业务和离线业务两类。...
  8. 计算加速套件 TACO Kit 在线模式 TACO-LLM 提供了实现 OpenAI Completions 和 Chat API 的 HTTP 服务端，可以以按照以下流程进行使用。...
赞 (0)
上一篇 4天前
下一篇 4天前