一、功能概述
·资源可控:预算与资源绑定,实现消耗的精细化管控。
·成本可视:实时查看积分消耗情况,支持成本分析与预测。
·灵活适配:模型系数可调,适应不同业务场景与成本策略。
·无缝集成:关联后即可自动启用,无需调整业务代码。
二、1. 配置模型系数
支持为不同模型设置不同的系数,包含输入系数、输出系数、缓存读取系数和缓存写入系数。你可根据模型能力、性能、成本等因素,自定义积分消耗比例。从而实现多模型使用场景下的成本差异化控制。比如将系数与模型单价同比例配置,假如模型单价为2.5元/百万 token,建议配置十倍比例将系数配置为25。
三、2. 管理积分预算
你可根据需要设置不同的积分预算,积分预算包含积分最大消耗、重置周期和速率限制。支持为不同的模型路由实例或 API Key 绑定相同或者不同的积分预算,即授权不同的额度,从而实现对 token 消耗的主动控制与预警。
注意:说明:
比如积分预算 test-A,最大积分额度是1百万,积分预算 test-B,最大积分额度是1千。模型路由实例 A 下面有两个 API Key,分别为 Key_01 和 Key_02。
模型路由实例 A 的积分消耗=Key_01的积分消耗 + Key_02 的积分消耗
场景一:模型路由实例和其中某个 API Key 绑定相同的积分预算
模型路由实例 A 额度耗尽后,Key_01 和 Key_02 均无法继续使用,即使 Key_01 自身仍有余额
| 关联对象 | 关联关系 | 最大积分额度 |
| 模型路由实例 A | 积分预算 test-A | 1百万 |
| Key_01 | 积分预算 test-A | 1百万 |
| Key_02 | 不绑定积分预算 | 无积分预算限制(实际会有速率限制,在这里不继续展开) |
场景二:模型路由实例下的 API Key 绑定不同积分预算
Key_02 的积分预算额度较小,一旦耗尽将会停止服务,即使此时模型路由实例 A 还有额度。
| 关联对象 | 关联关系 | 最大积分额度 |
| 模型路由实例 A | 积分预算 test-A | 1百万 |
| Key_01 | 积分预算 test-A | 1百万 |
| Key_02 | 积分预算 test-B | 1千 |
四、典型场景
·团队项目管理为不同项目组分配独立 API Key 及积分预算,实现成本拆分与管控。
·多模型成本优化通过调整模型系数,引导业务方在满足需求的前提下选用更具性价比的模型。
·资源预警与防控为生产环境模型路由实例或 API Key 设置预算预警,避免突发流量导致积分超额消耗。
五、1. 积分预算用完后会发生什么?
当积分预算耗尽时,关联的 CMR 实例或 API Key 将停止服务,直到预算重置或增加。
六、2. 模型系数调整后何时生效?
系数调整将立即生效,无需重启服务。
七、3. 如何查看历史积分消耗记录?
可以在用量详情中通过请求积分消耗(Count)指标查看。
八、相关文档
·配置模型系数
·配置积分预算