云原生智能网关 Token 长度路由

基于 Token 长度的智能路由是一种根据请求 Token 数量自动选择更加适合当前模型服务的路由策略。系统接收用户请求后,自动估算请求的 Token 长度,根据预设的分段规则匹配目标模型,实现成本与性能的最优平衡。

相关产品
云原生智能网关 产品页,含版本规格、价格与购买入口。

一、操作场景

典型场景:

·多模型成本优化:企业同时接入 GPT-4(短上下文,成本高)、Claude(中长上下文,成本中)、Gemini(超长上下文,成本低),根据请求 Token 长度自动选择最经济的模型

·长短文本分流:短文本请求(如 0-4K Token)路由到经济型模型,长文本请求(如 32K+)路由到长上下文模型,避免截断和成本浪费

二、前提条件

·已创建 AI 网关实例且处于运行中状态。

·已配置多个模型服务(作为候选服务池)。

·已明确预期进行分段的 Token 长度值。

三、步骤 1:进入模型 API 配置页

1. 登录微服务平台控制台,在左侧导航栏单击 AI 网关 > 实例列表;

2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面;

3. 选择左侧导航栏模型管理 > 模型 API;

4. 单击新建或编辑已有 API;

5. 完成基本信息配置后,进入第二步:选择模型服务。

四、步骤 2:选择服务类型和路由策略

1. 选择服务类型为多模型服务;

2. 若你需要先筛选候选服务池,可启用标签过滤(可选)。开启后,将根据标签筛选符合条件的模型服务;不启用标签过滤时,候选服务池为全部模型服务列表。

·过滤模式:选择 AND(服务必须同时满足所有标签) 或 OR(服务满足任意一个标签即可)。推荐使用 AND。

·标签配置:单击添加标签,填写标签的 Key 和 Value。

3. 在路由策略区域,选择 Token 长度路由。

五、步骤 3:选择 Tokenizer 编码

选择模型对应的分词规则,不同的编码会直接影响 Token 数量、API 费用以及中文处理效率。请根据你实际使用的模型进行选择:

编码 推荐场景 特点
o200k_base(推荐) GPT-4o / o1 / o3 / GPT-5 系列 最新、最省成本。对中文支持最好,相同的中文内容消耗的 Token 更少。
cl100k_base GPT-4 / GPT-3.5 / Claude 系列 通用兼容。适合旧版 OpenAI 模型或与 Claude 对齐 Token 计数。
p50k_base 早期 GPT-3 / Codex 偏向代码处理,中文效率低,仅用于旧系统维护。
r50k_base 早期 GPT-2 / GPT-3 最古老的编码,中文消耗极大,一般不建议选择。

六、步骤4:配置默认目标

Token 计数失败、规则为空或未命中任何分段规则时,使用此默认目标。

1. 选择二级路由策略:单模型服务、权重路由、延迟优先路由。

2. 根据所选二级路由策略完成后续配置。

七、步骤5:配置分段规则

1. 在分段规则区域,按 Token 长度区间配置多个分段,为每个分段设置以下参数:

·Token 长度区间: [分段包含的最小 Token 数,分段包含的最大 Token 数]。前一分段的上界即为下一分段的下界,分段必须连续,不允许区间重叠

·典型配置示例:

·短文本:[1, 100] / [101, 500] / [501, 2000]

·中等文本:[1, 1000] / [1001, 8000] / [8001, 32000]

·长文本:[1, 4000] / [4001, 32000] / [32001, 200000]

·二级路由策略:单模型服务、权重路由、延迟优先路由。

·根据所选二级路由策略完成后续配置。分段内配置多个模型时,自动按所选策略在多模型间分发。

2. 支持单击添加分段规则增加新分段。

八、步骤6:确认并保存

单击确定保存配置,通过配置合法性检验后智能路由策略生效。

赞 (0)
上一篇 4天前
下一篇 4天前