计算加速套件 TACO Kit TACO DiT 加速 Flux 模型

这篇以Flux系列模型为例,演示TACO DiT部署流程,基于GC49d单卡与PyTorch 2.7.1、CUDA 12.8环境,提供Flux.1-kontext-dev和Flux.1-dev两套优化工作流,生图时延分别平均提速4.5倍(23.6s降至5.2s)和3.9倍(13.9s降至3.6s)。 Flux.1-kontext-dev:工作流置于模型加载器后运行,MagCache与Compile节点可单独或配套使用。

相关产品
计算加速套件 TACO Kit 产品页,含版本规格、价格与购买入口。

这篇档以 Flux 系列模型为例,演示 TACO DiT 部署和使用流程。

一、环境准备

·机型:GC49d 一卡

注意:说明:

注意:如果你的业务场景需要使用当前机型,请联系 技术支持。

·软件版本:

·PyTorch 2.7.1

·CUDA 12.8

二、基于 Flux.1-kontext-dev 最佳实践

工作流:Flux.1-kontext-dev

客户按需将工作流放到模型加载器(如果有 lora,放到 lora 加载器之后即可)之后,单击运行即可。MagCache 节点和 Compile Flux Model 节点可单独使用也可以配套使用。

整体生图时延平均提速4.5倍,从23.6s 降低到5.2s。运行结果如下:

Baseline TACO DiT 优化
 

三、基于 Flux.1-dev 最佳实践

工作流:Flux.1-dev

客户将上述工作流放置在模型加载器之后,单击运行即可。

整体生图时延平均提速3.9倍,从13.9s 降低到3.6s。运行结果如下:

Baseline TACO DiT 优化
 
赞 (0)
上一篇 4天前
下一篇 4天前