yun

与传统 AI 场景不同，大语言模型服务关注多个维度的性能指标，它们最终对应不同层次的用户体验和服务质量。这些指标大体概括起来分为4个。

TACO-LLM 支持 Huggingface 模型格式的多种生成式 Transformer 模型。下面列出了 TACO-LLM 目前支持的模型架构和对应的常用模型。

TACO-LLM 需要依赖 GPU 相关的基础软件，如 GPU 驱动 /CUDA 等。为了避免基础软件依赖导致 TACO-LLM 无法正常运行，我们提供了 TACO-LLM docker环境镜像，建议你优先使用该镜像作为 TACO-LLM 的运行环境。按照如下命令可以获取 docker 镜像并启动容器环境。

在离线推理业务场景中，可以以通过离线模式使用 TACO-LLM。这篇档通过一个简单的例子介绍了如何使用 TACO-LLM 的离线模式。

TACO-LLM 提供了实现 OpenAI Completions 和 Chat API 的 HTTP 服务端，可以以按照以下流程进行使用。

你只需在启动命令行中加入以下命令，即可开启 lookahead-cache–lookahead-cache-config-dir ./ # 或者任意其他目录。

在多轮对话、系统提示以及其他具有大量共同前缀的应用场景中，自动前缀缓存功能能够存储之前的前缀键值缓存，加快后续具有相同前缀请求的预填充阶段，从而降低首次响应时间，优化处理能力。

在这篇档中，我们将介绍模型量化的基本概念，以及使用 TACO-LLM 部署量化模型的完整流程实践。

大模型的自回归解码的特性导致其不能充分利用 GPU 的并行计算进行加速。基于此，学术界提出了投机采样，其可以利用更高效的 Draft Model 快速生成多个 Token，然后一次性地交给 Target Model 进行验证。在接受率高的情况下，可以显著减少推理时间。

在 LLM 大模型推理中，长序列场景应用越来越广泛，目前业界对长序列的优化主要是 kv cache 量化、稀疏化等方法，这些都对模型精度有一定的影响。TACO LLM 自研长序列并行方案，可以在长序列场景进行精度无损的加速。长序列推理场景首字延迟会比较慢，针对该问题，序列并行在 prefill 阶段采用了 Ring Attention 类的方案，可以通过扩展机器，降低首字延迟。而对于推理阶段，TACO LLM 可以使。