yun
-
计算加速套件 TACO Kit 基础配置
以一个实际运行的例子进行离线测试为例:此例子可以参考离线模型的编写方式。python3 offline_test.py \\ –model /models/Llama-2-7b-chat-hf/ \\ –tokenizer /models/Llama-2-7b-chat-hf/ \\ –dataset /datasets/ShareGPT_V3_unfiltered_cleaned_split.json \\ 。
-
计算加速套件 TACO Kit TACO LLM 性能
wget -c https://taco-1251783334.cos.ap-shanghai.myqcloud.com/customers/common/benchmarks/taco_llm_demo.tar.gz。
-
计算加速套件 TACO Kit TACO-LLM 部署
TACO-license 是 TACO-LLM 项目中用于鉴权和记录日志的组件。
-
计算加速套件 TACO Kit 产品简介(TACO DiT 概述)
TACO DiT(TencentCloud Accelerated Computing Optimization DiT)是一款基于腾讯云异构计算产品开发的生图模型(DiT)推理加速引擎,专注于提升文生图、文生视频以及图生视频等场景的推理效率。TACO DiT 支持单卡加速以及业内独特的多卡并行加速能力,在满足客户生成速率的前提下,还能够有效控制生成成本,帮助客户优化业务成本结构。
-
计算加速套件 TACO Kit TACO DiT 部署
这篇说说TACO DiT推理加速服务的部署与使用,包括获取依赖包、配置环境及安装SageAttention,并详解MagCache、TeaCache、Compile Model等custom node的功能与优化参数,最后提供单卡与多卡的工作流示例。 – 环境配置:需克隆开源仓库并安装依赖,TACO DiT安装文件需联系技术支持获取。 – 核心节点:MagCache与TeaCache通过调整阈值优化精度;Compil。
-
计算加速套件 TACO Kit TACO DiT 加速 Flux 模型
这篇以Flux系列模型为例,演示TACO DiT部署流程,基于GC49d单卡与PyTorch 2.7.1、CUDA 12.8环境,提供Flux.1-kontext-dev和Flux.1-dev两套优化工作流,生图时延分别平均提速4.5倍(23.6s降至5.2s)和3.9倍(13.9s降至3.6s)。 Flux.1-kontext-dev:工作流置于模型加载器后运行,MagCache与Compile节点可单独或配套使用。
-
计算加速套件 TACO Kit 产品优势
计算加速套件 TACO Kit 通过软硬件协同优化,能够适配 CPU、GPU、NPU 等多种加速硬件。在训练场景和推理场景中,该套件不仅有效降低用户使用计算资源的学习成本,还显著提升了计算效能。
-
计算加速套件 TACO Kit 使用 TACO Train 部署分布式集群
这篇将演示如何使用 GPU 云服务器,训练 AI 绘画模型,结合 TACO Train 的加速能力助力你获得 4 倍以上的性能提升。
-
计算加速套件 TACO Kit 在 CVM 上部署 TensorFlow 分布式训练集群
如何基于云服务器 CVM 搭建 Tensorflow+Taco Train 分布式训练集群。
-
计算加速套件 TACO Kit 在裸金属服务器上部署 TensorFlow 分布式训练集群
如何基于裸金属服务器搭建 Tensorflow+Taco Train 分布式训练集群。