一、功能概述
消费者配额管理支持以下核心能力:
·Token 用量配额:限制消费者在指定时间周期内的 Token 消耗总量(输入 Token + 输出 Token)。
·请求次数配额:限制消费者在指定时间周期内的请求次数总额。
·配额周期:支持按日、按周、按月和按年设置配额周期。
·超限行为:支持配置配额超限后的处理策略(拒绝请求 / 允许超支)。
·配额状态:实时展示各消费者的配额使用情况(正常 / 预警 / 超限)。
二、前置条件
·已创建 AI 网关实例,且实例版本 ≥ 3.9.4。
·已创建消费者(Consumer)。
·已在配额管理页面手动配置 Redis,保存当前配额规则信息。
·如需使用成本预算配额,需先配置模型单价(参见 模型单价配置 文档)。
三、进入消费者配额管理页面
1. 登录腾讯云控制台 ,在左侧导航栏选择 AI 网关 > 实例管理,进入实例列表。
2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面。
3. 在左侧导航栏选择配额管理。
配额管理页面展示该网关实例的配额配置列表和当前配额使用情况。
四、添加消费者配额规则
你可以选择消费者来添加配额规则。
1. 在配额管理页面,单击新建配额规则。
2. 在弹出的对话框中,配置以下参数:
| 参数 | 必填 | 说明 |
| 消费者 | 是 | 选择当前实例的消费者,如果需要新建,可单击新建消费者 |
| 配额类型 | 是 | 选择 Token 用量、请求次数或成本 |
| 统计周期 | 是 | 配额统计周期:按日 / 按周 / 按月 / 按年 |
| 限额 | 是 | Token 用量配额:输入 Token 用量上限(单位:Token)请求次数配额:输入请求次数上限(单位:次)成本:输入使用成本上限(单位:元) |
| 超限行为 | 是 | 默认为拒绝请求拒绝请求:当超过限额后拒绝消费者使用请求。允许超支:当超过限额后仍允许消费者请求使用模型。 |
| 启用状态 | – | 配额规则开关,控制配额项是否启用 |
3. 配额类型说明:
·配额限制可以按日、按周、按月、按年统计
·超出配额后,系统将拒绝新的请求
·可以为同一对象设置多种配额类型(Token、请求次数)
·配额使用情况每小时更新一次
4. 单击确定,完成配额配置添加。
五、查看配额使用情况
配额配置完成后,系统会实时统计消费者的配额使用情况。
在配额管理页面,配额列表展示以下信息:
| 字段 | 说明 |
| 资源 ID/名称 | 配额规则对应的资源 ID/名称 |
| 配额类型 | Token 数量配额 / 请求次数配额 |
| 统计周期 | 按日 / 按周 / 按月 |
| 配额上限 | 配置的配额上限值 |
| 使用量 | 当前周期内已使用的配额量 |
| 使用率 | 当前使用量 / 配额上限 × 100% |
| 启用状态 | 当前配额规则情况 |
| 创建/修改时间 | 最新的创建和修改时间 |
| 操作 | 编辑 / 删除 |
六、编辑消费者配额
你可以根据需要修改已有配额配置。
1. 在配额管理页面,找到目标配额配置。
2. 单击操作列的编辑。
3. 修改需要变更的参数(消费者不可修改)。
4. 单击确定保存修改。
注意:说明:
注意:编辑配额后,当前周期的配额使用量不会重置,将继续累计。
七、删除消费者配额
当某个配额不再需要时,可删除配额配置。
1. 在配额管理页面,找到目标配额配置。
2. 单击操作列的删除。
3. 在确认对话框中单击确定。
八、配额管理 Redis 配置
你在使用配额管理前,需要手动配置 Redis,以保存当前配额规则信息,若未配置 Redis,则无法展示配额数据。
1. 在配额管理页面,单击 Redis 配置 进入 Redis 配置页面。
2. 在 Redis 配置页,单击编辑 Redis 配置,填写 Redis 信息,根据你的 Redis 服务地址等信息完成填写。
3. 单击保存后完成 Redis 配置,可以开始配额规则配置
九、Redis 配置编辑
你在使用配额管理时,若需要修改 Redis 配置,可以单击编辑 Redis 配置按钮进入 Redis 编辑页面:
1. 在配额管理页面,单击编辑 Redis 配置,进入 Redis 编辑页面。
2. 在 Redis 编辑页,修改 Redis 服务信息。
3. 单击保存后完成修改 Redis 配置,可以继续完成新配额规则配置
十、配额规则
用于限制消费者对模型服务的调用额度,其中“Token 数量”维度的配额默认按全量 Token 统计。
网关支持 AI 缓存(精确匹配缓存 / 语义相似度缓存),缓存命中时请求由网关直接返回,不再请求上游模型,因此不消耗模型侧 Token。通过“网关缓存命中请求统计方式”配置项,你可以自定义 Token 配额的统计口径:
1. 全量计入(默认):缓存命中部分与模型调用部分一并计入配额。
2. 不计入网关缓存命中部分:仅统计实际调用模型消耗的 Token,缓存命中部分不计入配额,使配额与实际模型调用量对齐。
十一、操作步骤
1. 登录 AI 网关控制台,选择目标网关实例进入详情页。
2. 在左侧导航栏,单击配额管理,进入配额规则列表页。
3. 单击新建配额规则,或选择已有规则单击编辑,打开配额规则配置弹窗。
4. 在弹窗中找到 网关缓存命中请求统计方式:
·全量计入(默认):缓存命中与模型调用消耗的 Token 全部计入配额。
·不计入网关缓存命中:统计实际调用模型消耗的 Token,网关缓存命中部分不计入。
5. 单击确定,完成配置。
十二、Q1:配额周期如何计算?
·按日:从当日 00:00:00 到 23:59:59。
·按周:从周一 00:00:00 到周日 23:59:59。
·按月:从当月第1日 00:00:00 到当月最后1日 23:59:59。
十三、Q2:一个消费者可以配置多个配额吗?
可以。一个消费者可以同时配置多个配额(如同时配置 Token 用量配额和请求次数配额),也可以配置多个同类型的配额(如两个 Token 用量配额,分别按日和按月统计)。