大模型服务平台 TokenHub 配额管理

配额管理用于处理模型默认最大 TPM(每分钟 Token 数)无法满足业务需求、需要申请更多额度(提配)的场景。

相关产品
大模型服务平台 TokenHub 产品页,含版本规格、价格与购买入口。

一、查看最大 TPM

TokenHub 控制台 展示的是当前生效的配额——如果该模型曾成功申请过提配,展示的是提配后的额度。可在以下三处查看:

1. 模型广场 > 模型详情页 > 模型限制

2. 启用管理 页面

3. 创建 自定义推理服务 时

二、操作入口

1. 登录 TokenHub 控制台,在左侧导航中选择 配额管理。

2. 单击申请提额。

三、提配条件

申请提额需同时满足以下条件:

·周峰值利用率 > 60%。

·在控制台限定的额度上限内提额。

·单周申请不超过2次。

提交结果:

·满足条件:申请将直接通过,额度立即更新。

·不满足条件:申请失败。

注意:配额申请成功后,若该模型连续7天 TPM 利用率均 < 60%,平台将回收超出保留量的闲置部分。其中:保留量 = MAX(周峰值 TPM × 1.4, 1M)(1M = 1,000,000)。

四、其他情况

对于控制台提额无法满足需求的场景,请联系商务经理或 提交工单申请。

赞 (0)
上一篇 4天前
下一篇 4天前