模型路由 积分管理

积分管理旨在为用户提供灵活、可控的模型使用与资源消耗管理能力。通过配置模型系数和积分预算,实现资源分配的精细化控制,帮助团队或项目有效规划、监控与优化 token 消耗。

相关产品
模型路由 产品页,含版本规格、价格与购买入口。

一、功能概述

·资源可控:预算与资源绑定,实现消耗的精细化管控。

·成本可视:实时查看积分消耗情况,支持成本分析与预测。

·灵活适配:模型系数可调,适应不同业务场景与成本策略。

·无缝集成:关联后即可自动启用,无需调整业务代码。

二、1. 配置模型系数

支持为不同模型设置不同的系数,包含输入系数、输出系数、缓存读取系数和缓存写入系数。你可根据模型能力、性能、成本等因素,自定义积分消耗比例。从而实现多模型使用场景下的成本差异化控制。比如将系数与模型单价同比例配置,假如模型单价为2.5元/百万 token,建议配置十倍比例将系数配置为25。

三、2. 管理积分预算

你可根据需要设置不同的积分预算,积分预算包含积分最大消耗、重置周期和速率限制。支持为不同的模型路由实例或 API Key 绑定相同或者不同的积分预算,即授权不同的额度,从而实现对 token 消耗的主动控制与预警。

注意:说明:

比如积分预算 test-A,最大积分额度是1百万,积分预算 test-B,最大积分额度是1千。模型路由实例 A 下面有两个 API Key,分别为 Key_01 和 Key_02。

模型路由实例 A 的积分消耗=Key_01的积分消耗 + Key_02 的积分消耗

场景一:模型路由实例和其中某个 API Key 绑定相同的积分预算

模型路由实例 A 额度耗尽后,Key_01 和 Key_02 均无法继续使用,即使 Key_01 自身仍有余额

关联对象 关联关系 最大积分额度
模型路由实例 A 积分预算 test-A 1百万
Key_01 积分预算 test-A 1百万
Key_02 不绑定积分预算 无积分预算限制(实际会有速率限制,在这里不继续展开)

场景二:模型路由实例下的 API Key 绑定不同积分预算

Key_02 的积分预算额度较小,一旦耗尽将会停止服务,即使此时模型路由实例 A 还有额度。

关联对象 关联关系 最大积分额度
模型路由实例 A 积分预算 test-A 1百万
Key_01 积分预算 test-A 1百万
Key_02 积分预算 test-B 1千

四、典型场景

·团队项目管理为不同项目组分配独立 API Key 及积分预算,实现成本拆分与管控。

·多模型成本优化通过调整模型系数,引导业务方在满足需求的前提下选用更具性价比的模型。

·资源预警与防控为生产环境模型路由实例或 API Key 设置预算预警,避免突发流量导致积分超额消耗。

五、1. 积分预算用完后会发生什么?

当积分预算耗尽时,关联的 CMR 实例或 API Key 将停止服务,直到预算重置或增加。

六、2. 模型系数调整后何时生效?

系数调整将立即生效,无需重启服务。

七、3. 如何查看历史积分消耗记录?

可以在用量详情中通过请求积分消耗(Count)指标查看。

八、相关文档

·配置模型系数

·配置积分预算

赞 (0)
上一篇 4天前
下一篇 4天前