云原生智能网关 消费者配额管理

消费者配额管理用于为 AI 网关中的消费者设置调用配额,包括 Token 用量配额和成本预算配额。通过配额管理,可以以控制消费者的模型调用量,避免资源滥用,保障业务连续性。

相关产品
云原生智能网关 产品页,含版本规格、价格与购买入口。

一、功能概述

消费者配额管理支持以下核心能力:

·Token 用量配额:限制消费者在指定时间周期内的 Token 消耗总量(输入 Token + 输出 Token)。

·请求次数配额:限制消费者在指定时间周期内的请求次数总额。

·配额周期:支持按日、按周、按月和按年设置配额周期。

·超限行为:支持配置配额超限后的处理策略(拒绝请求 / 允许超支)。

·配额状态:实时展示各消费者的配额使用情况(正常 / 预警 / 超限)。

二、前置条件

·已创建 AI 网关实例,且实例版本 ≥ 3.9.4。

·已创建消费者(Consumer)。

·已在配额管理页面手动配置 Redis,保存当前配额规则信息。

·如需使用成本预算配额,需先配置模型单价(参见 模型单价配置 文档)。

三、进入消费者配额管理页面

1. 登录腾讯云控制台 ,在左侧导航栏选择 AI 网关 > 实例管理,进入实例列表。

2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面。

3. 在左侧导航栏选择配额管理。

配额管理页面展示该网关实例的配额配置列表和当前配额使用情况。

四、添加消费者配额规则

你可以选择消费者来添加配额规则。

1. 在配额管理页面,单击新建配额规则。

2. 在弹出的对话框中,配置以下参数:

参数 必填 说明
消费者 是 选择当前实例的消费者,如果需要新建,可单击新建消费者
配额类型 是 选择 Token 用量、请求次数或成本
统计周期 是 配额统计周期:按日 / 按周 / 按月 / 按年
限额 是 Token 用量配额:输入 Token 用量上限(单位:Token)请求次数配额:输入请求次数上限(单位:次)成本:输入使用成本上限(单位:元)
超限行为 是 默认为拒绝请求拒绝请求:当超过限额后拒绝消费者使用请求。允许超支:当超过限额后仍允许消费者请求使用模型。
启用状态 – 配额规则开关,控制配额项是否启用

3. 配额类型说明:

·配额限制可以按日、按周、按月、按年统计

·超出配额后,系统将拒绝新的请求

·可以为同一对象设置多种配额类型(Token、请求次数)

·配额使用情况每小时更新一次

4. 单击确定,完成配额配置添加。

五、查看配额使用情况

配额配置完成后,系统会实时统计消费者的配额使用情况。

在配额管理页面,配额列表展示以下信息:

字段 说明
资源 ID/名称 配额规则对应的资源 ID/名称
配额类型 Token 数量配额 / 请求次数配额
统计周期 按日 / 按周 / 按月
配额上限 配置的配额上限值
使用量 当前周期内已使用的配额量
使用率 当前使用量 / 配额上限 × 100%
启用状态 当前配额规则情况
创建/修改时间 最新的创建和修改时间
操作 编辑 / 删除

六、编辑消费者配额

你可以根据需要修改已有配额配置。

1. 在配额管理页面,找到目标配额配置。

2. 单击操作列的编辑。

3. 修改需要变更的参数(消费者不可修改)。

4. 单击确定保存修改。

注意:说明:

注意:编辑配额后,当前周期的配额使用量不会重置,将继续累计。

七、删除消费者配额

当某个配额不再需要时,可删除配额配置。

1. 在配额管理页面,找到目标配额配置。

2. 单击操作列的删除。

3. 在确认对话框中单击确定。

八、配额管理 Redis 配置

你在使用配额管理前,需要手动配置 Redis,以保存当前配额规则信息,若未配置 Redis,则无法展示配额数据。

1. 在配额管理页面,单击 Redis 配置 进入 Redis 配置页面。

2. 在 Redis 配置页,单击编辑 Redis 配置,填写 Redis 信息,根据你的 Redis 服务地址等信息完成填写。

3. 单击保存后完成 Redis 配置,可以开始配额规则配置

九、Redis 配置编辑

你在使用配额管理时,若需要修改 Redis 配置,可以单击编辑 Redis 配置按钮进入 Redis 编辑页面:

1. 在配额管理页面,单击编辑 Redis 配置,进入 Redis 编辑页面。

2. 在 Redis 编辑页,修改 Redis 服务信息。

3. 单击保存后完成修改 Redis 配置,可以继续完成新配额规则配置

十、配额规则

用于限制消费者对模型服务的调用额度,其中“Token 数量”维度的配额默认按全量 Token 统计。

网关支持 AI 缓存(精确匹配缓存 / 语义相似度缓存),缓存命中时请求由网关直接返回,不再请求上游模型,因此不消耗模型侧 Token。通过“网关缓存命中请求统计方式”配置项,你可以自定义 Token 配额的统计口径:

1. 全量计入(默认):缓存命中部分与模型调用部分一并计入配额。

2. 不计入网关缓存命中部分:仅统计实际调用模型消耗的 Token,缓存命中部分不计入配额,使配额与实际模型调用量对齐。

十一、操作步骤

1. 登录 AI 网关控制台,选择目标网关实例进入详情页。

2. 在左侧导航栏,单击配额管理,进入配额规则列表页。

3. 单击新建配额规则,或选择已有规则单击编辑,打开配额规则配置弹窗。

4. 在弹窗中找到 网关缓存命中请求统计方式:

·全量计入(默认):缓存命中与模型调用消耗的 Token 全部计入配额。

·不计入网关缓存命中:统计实际调用模型消耗的 Token,网关缓存命中部分不计入。

5. 单击确定,完成配置。

十二、Q1:配额周期如何计算?

·按日:从当日 00:00:00 到 23:59:59。

·按周:从周一 00:00:00 到周日 23:59:59。

·按月:从当月第1日 00:00:00 到当月最后1日 23:59:59。

十三、Q2:一个消费者可以配置多个配额吗?

可以。一个消费者可以同时配置多个配额(如同时配置 Token 用量配额和请求次数配额),也可以配置多个同类型的配额(如两个 Token 用量配额,分别按日和按月统计)。

赞 (0)
上一篇 4天前
下一篇 4天前