腾讯云大模型训推平台TI-ONE 内置大模型推理镜像使用说明

一、推理镜像介绍

当前预置了两个大模型推理镜像：

·【推荐】angel-vllm：TI-ONE 团队基于开源 vllm 优化的版本，支持在线 int8、nf4、fp8 的 weight-only 量化和 LayerwiseSearchSMQ 等多种量化加速方式，对生产环境并发要求高的推荐使用此镜像；

·angel-deepspeed：TI-ONE 团队基于开源 deepspeed 优化的版本，支持了算子、通信、量化等多项优化技术；

这篇会介绍如何使用 TI-ONE 内置大模型推理镜像来启动提供大模型对话 API 的推理服务。

二、模型目录准备

首先你需要将要推理的模型放到自己的 CFS 或 GooseFS 文件系统中，模型目录结构与 huggingface 上的 Text Generation 类型的模型相同，模型格式支持 .bin 格式及 .safetensors 格式。

注意：说明：

注意：angel-vllm 镜像还支持推理使用 tilearn-llm 库进行 LayerwiseSearchSMQ 量化得到的模型，请确认模型目录中包含 smoothq_model-8bit-auto.safetensors 文件，并建议删除原始的非量化模型文件。

注意：若你希望使用 TI-ONE 提供的 LayerwiseSearchSMQ 量化加速技术，请提工单反馈。

三、模型配置文件

为了让推理镜像更好地识别到你推理用的是什么模型，推荐在模型目录中额外保存一个 ti_model_config.json 配置文件，格式如下：

{"model_id": "Baichuan2-13B-Chat", "conv_template_name": "baichuan2-chat"}

字段含义：

model_idconv_template_name

·含义：模型名称

·推荐值：若要运行的是 huggingface 上的开源模型，推荐直接指定为 huggingface 上的模型 ID，例如"Baichuan2-13B-Chat"，"Qwen1.5-14B-Chat"，模型名称中是否包含斜杠"/"、及文本的大小写均不影响实际使用。

·其他指定方式：若你不想在模型目录中增加ti_model_config.json 文件，也可以在启动服务时通过 MODEL_ID 环境变量来指定。

·含义：对话模板名称

·推荐值：若你的 model_id 与开源模型相同，且没有在 SFT 阶段修改过模型的对话模板，你可以不添加 conv_template_name 参数，推理镜像会尝试自动匹配；若你明确模型用了哪种对话模板，建议你手动指定对话模板。

·其他指定方式：若你不想在模型目录中增加ti_model_config.json 文件，也可以在启动服务时通过 CONV_TEMPLATE 环境变量来指定。

目前常用的对话模板名称如下表所示，镜像剩余当前支持的对话模板列表详见 conversation.py。

四、启动推理服务

你可以通过 TI-ONE 平台的模型服务 > 在线服务 > 新建服务入口来启动推理服务，以下是服务实例配置的指引。

五、模型来源及运行环境

大模型推理服务模型来源请选择 CFS 或 GooseFS，路径直接填上文 模型目录准备 在 CFS 或 GooseFS 上的路径。

运行环境请选择 【内置 / LLM / angel-vllm】或【内置 / LLM / angel-deepspeed】，推荐选择 angel-vllm。

六、资源申请建议

大模型推理时需要的机器资源与模型的参数量相关，我们推荐按如下规则配置推理服务资源（CPU 和内存建议按照节点的实际可用资源按占用的卡数等比例分配，建议内存至少分配大于显卡显存，否则容易引起 OOMKilled 异常）。

注意：说明：

注意：部分模型支持32k、128k之类的长上下文，KV cache 所需的显存会较大，若你推理时不需要支持那么长上下文，可以手动调小上下文长度；

注意：若显存不足无法启动，请尝试以下几种方式解决：

注意：1. 给服务分配更多 GPU 卡数量或更换显存更大的 GPU 机型；

注意：2. 【推荐】尝试开启 int8 weight-only 量化，可以减半模型权重所需的显存，如 QUANTIZATION=ifq;

注意：3. 【推荐】尝试调小上下文长度，可以减少 KV cache 所需的显存，如 MAX_MODEL_LEN=4096;

注意：4. 尝试调整显存预留分配比例，如 GPU_MEMORY_UTILIZATION=0.95;

注意：5. 尝试使用 eager 模式，启动参数添加 –enforce-eager;

注意：具体参数含义详见 angel-vllm 镜像高级设置

七、angel-vllm 镜像高级设置

大多数情况下，你无需做任何修改直接启动镜像即可。若你有进一步的高级设置需求，可以通过启动命令或环境变量调整容器的启动参数。

镜像默认的启动命令为

run

目前支持的启动参数和环境变量如下（下表中同一行中启动参数与环境变量的作用是等价的，若同时设置了，启动命令的参数的优先级更高）：

同时，镜像也支持 vllm 原生的 entrypoint 推理服务启动方式，你可以修改启动命令为 python3 -m vllm.entrypoints.openai.api_server 开头，此时支持开源 vllm 0.4.2 版本原生支持的各类参数，详见 vllm 产品文档。

平台镜像版本在此基础上额外支持以下参数:

·–use-lookahead: 表示开启 lookahead 并行解码，针对输入较长，特别是生成内容包含在输入文本中的如 RAG 场景生成加速效果较好，需同时开启–use-v2-block-manager

·–num-speculative-tokens: 表示一次并行解码长度，单并发推荐设置成12，BatchSize 较大时可以适当降低一次解码长度，例如6或者4。

·–quantization: 可额外支持 ifq、smoothquant 量化方式，详见上文量化加速模式说明。

例如：

python3 -m vllm.entrypoints.openai.api_server –model /data/model –served-model-name model –trust-remote-code –quantization ifq –use-v2-block-manager –use-lookahead –num-speculative-tokens 6

八、angel-deepspeed 镜像高级设置

大多数情况下，你无需做任何修改直接启动镜像即可。若你有进一步的高级设置需求，可以通过启动命令或环境变量调整容器的启动参数。

镜像默认的启动命令为

run

目前支持的启动参数和环境变量如下（下表中同一行中启动参数与环境变量的作用是等价的，若同时设置了，启动命令的参数的优先级更高）：

九、对话 API 接口文档

推理镜像容器启动后默认会监听容器的 8501 端口，你可以通过在线服务的实例列表 > 进入容器按钮直接进入容器调试。

若你需要在服务外部访问模型的对话接口，有以下几种方式：

1. 在线体验：直接使用前端在线体验页面访问或使用 快速试一试开源大模型 – 第三步：在线体验模型效果 中的接口访问，这种方式会经过内容审核，支持内置大模型和自定义大模型；

2. 服务调用：参考 在线服务调用 文档，在服务的服务调用标签页获取服务的公网或 VPC 内调用地址（使用平台内置大模型的推理服务，不支持服务调用；使用你自己模型和内置大模型镜像的推理服务，支持服务调用）；你可以基于此接口二次开发你的大模型应用，若有内容审核需求需要你自行接入。若你对服务调用性能要求较高，推荐使用 VPC 内网调用方式。

十、1. 接口描述

POST /v1/chat/completions

对话接口，基本兼容 OpenAI 的 Chat 接口格式。

十一、2. 输入参数

HTTP Header 参数

HTTP 请求体参数

Message

十二、3. 输出参数

非流式情况，会返回 content-type: application/json 数据，格式如下：

流式输出，会以 SSE 形式返回 content-type: text/event-stream; charset=utf-8 数据

流式输出每行返回的数据为 data: 分片，分片数据格式如下：

流式输出会以 data: [DONE] 作为结尾，详见 示例。

十三、示例1 非流式请求

输入示例

curl -H "content-type: application/json" http://localhost:8501/v1/chat/completions -d '{"messages":[{"role": "user", "content": "你好"}], "temperature": 0.0}'

输出示例

{"id":"chatcmpl-4aeRgYwnaYe4RzmmcyKtYs","object":"chat.completion","created":1698291242,"model":"baichuan-13b-chat","choices":[{"index":0,"message":{"role":"assistant","content":"你好！有什么我能帮到你的吗？"},"finish_reason":"stop"}],"usage":{"prompt_tokens":4,"total_tokens":16,"completion_tokens":12}}

十四、示例2 流式请求

输入示例

curl -H "content-type: application/json" http://localhost:8501/v1/chat/completions -d '{"messages":[{"role": "user", "content": "你好"}], "temperature": 0.0, "stream": true}'

输出示例

data: {"id": "chatcmpl-3fYW8fqN3YYMJiebiZgpzZ", "model": "baichuan-13b-chat", "choices": [{"index": 0, "delta": {"role": "assistant"}, "finish_reason": null}]}data: {"id": "chatcmpl-3fYW8fqN3YYMJiebiZgpzZ", "model": "baichuan-13b-chat", "choices": [{"index": 0, "delta": {"content": "你"}, "finish_reason": null}]}data: {"id": "chatcmpl-3fYW8fqN3YYMJiebiZgpzZ", "model": "baichuan-13b-chat", "choices": [{"index": 0, "delta": {"content": "好！"}, "finish_reason": null}]}data: {"id": "chatcmpl-3fYW8fqN3YYMJiebiZgpzZ", "model": "baichuan-13b-chat", "choices": [{"index": 0, "delta": {"content": "有什么我"}, "finish_reason": null}]}data: {"id": "chatcmpl-3fYW8fqN3YYMJiebiZgpzZ", "model": "baichuan-13b-chat", "choices": [{"index": 0, "delta": {"content": "能帮"}, "finish_reason": null}]}data: {"id": "chatcmpl-3fYW8fqN3YYMJiebiZgpzZ", "model": "baichuan-13b-chat", "choices": [{"index": 0, "delta": {"content": "到你的"}, "finish_reason": null}]}data: {"id": "chatcmpl-3fYW8fqN3YYMJiebiZgpzZ", "model": "baichuan-13b-chat", "choices": [{"index": 0, "delta": {"content": "吗？"}, "finish_reason": null}]}data: {"id": "chatcmpl-3fYW8fqN3YYMJiebiZgpzZ", "object": "chat.completion.chunk", "created": 1698290857, "model": "baichuan-13b-chat", "choices": [{"index": 0, "delta": {}, "finish_reason": "stop"}]}data: [DONE]

十五、Python SDK

可以直接使用 openai 的 SDK 来调用本推理服务，示例如下：

import osfrom openai import OpenAI# 示例1：容器本地访问地址os.environ["OPENAI_BASE_URL"] = "http://127.0.0.1:8501/v1"# 示例2：外网访问地址，可以通过服务调用页面获取（使用openai sdk时，地址后面加上v1）os.environ["OPENAI_BASE_URL"] = "https://service-********.sh.tencentapigw.com:443/tione/v1"# 若服务启动设置了 –api-keys 参数或 OPENAI_API_KEYS 环境变量开启了鉴权，OPENAI_API_KEY 需要设置为任意一个可用的 api_key；否则可以任意填写os.environ["OPENAI_API_KEY"] = "EMPTY"
client = OpenAI()# 非流式请求示例：print("—– standard request —–")completion = client.chat.completions.create( model="model", messages=[ { "role": "user", "content": "你好", }, ], temperature=0.7, top_p=1.0, max_tokens=128,)print(completion.choices[0].message.content)
# 流式请求示例:print("—– streaming request —–")stream = client.chat.completions.create( model="model", messages=[ { "role": "user", "content": "你好", }, ], temperature=0.7, top_p=1.0, max_tokens=128, stream=True,)for chunk in stream: if not chunk.choices or not chunk.choices[0].delta.content: continue print(chunk.choices[0].delta.content, end="")print()

十六、命令行对话 Demo

你也可以使用 python 常用的 requests 库来请求对话接口，下面是一个命令行中与大模型推理服务进行对话交互的 Demo 示例：

import argparseimport requestsimport jsondef chat(messages): data = { "messages": messages, "temperature": args.temperature, "max_tokens": args.max_tokens, "top_p": args.top_p, "stream": True, # 开启流式输出 } header = { "Content-Type": "application/json", } if args.token: header["Authorization"] = f"Bearer {args.token}" response = requests.post(f"{args.server}/v1/chat/completions", json=data, headers=header, stream=True) # 设置 stream=True 参数获取实时数据流 if response.status_code != 200: print(response.json()) exit() result = "" print("Assistant: ", end = "", flush = True) for part in response.iter_lines(): if part: if "content" in part.decode("utf-8"): content = json.loads(part.decode("utf-8")[5:])["choices"][0]["delta"]["content"] # 字符串过滤 data: 之后转成 json 格式再取文本 result += content print(content, end = "", flush = True) print("\\n") return resultif __name__ == "__main__": parser = argparse.ArgumentParser(description="Chat CLI Demo.") parser.add_argument("–server", type=str, default="http://127.0.0.1:8501") parser.add_argument("–max-tokens", type=int, default=512) parser.add_argument("–temperature", type=float, default=0.7) parser.add_argument("–top_p", type=float, default=1.0) parser.add_argument("–system", type=str, default=None) parser.add_argument("–token", type=str, default=None) args = parser.parse_args() messages = [] if args.system: messages.append({"role": "system", "content": args.system}) while True: user_input = input("User: ") messages.append({"role": "user", "content": user_input}) response = chat(messages) messages.append({"role": "assistant", "content": response})