创建模型路由实例

如何创建模型路由实例。模型路由实例是模型路由能力的承载单元,通过创建模型路由实例,用户可统一管理模型接入、流量分发、限流控制、网络访问等策略。

相关产品
模型路由 产品页,含版本规格、价格与购买入口。

一、前提条件

建议提前阅读 使用约束 与 支持模型了解相关信息。

二、操作步骤

1. 登录 模型路由控制台。

2. 在左侧导航栏中,单击实例管理进入实例列表页。

3. 在实例列表页中,单击新建,参数说明如下。

参数 说明
地域 选择实例地域。
网络类型 仅企业型实例支持,可选公网、内网。
监听协议 监听协议可选 HTTP(80)、HTTPS(443)。网络类型选择公网时,监听协议建议选择 HTTPS(443)。
证书 仅企业型实例需要绑定证书,你可以选择 SSL 证书平台 中已有的证书,或新建上传证书。
所属网络 企业型实例需要选择所属网络。
计费模式 支持按规格计费和按用量计费两种模式。按规格计费:不同规格的 CMR 实例对应的费用不同,超过规格限制会自动限流。仅企业型实例支持。按用量计费:零调用零费用,若用量较大可能产生高额账单。
资源包抵扣 按规格计费:可选择是否使用资源包抵扣。若选择资源包抵扣,资源包用尽后实例将转为后付费按小时扣费。按用量计费:仅支持选择资源包抵扣。资源包用尽后实例将停止服务,请及时续费以保障业务连续性。
规格 选择按规格计费时,可按需选择不同规格,不同规格的 TPM 限速值和费用,详见 计费概述。
限制类型 默认可设置 TPM 和 RPM,也可选择合适的 积分预算。其中,按规格计费的实例,TPM 限速值默认为所选规格的上限,不支持修改。
TPM 每分钟允许处理的最大 Token 数(Tokens Per Minute),单位:千/分钟。仅限制类型为速率限制时支持调整,限制类型为积分预算则沿用积分预算模板设置。
RPM 每分钟允许的最大请求次数(Requests Per Minute),单位:次/分钟。仅限制类型为速率限制时支持调整,限制类型为积分预算则沿用积分预算模板设置。
实例名称 最多支持 255 个字符。
标签 选择标签键和标签值,也可选择添加标签,详情请参见 创建标签。

4. 完成以上参数配置后,单击确定创建实例。在实例列表中,即可查看你创建的实例。

三、后续操作

1. 创建模型路由访问密钥,详细操作指导请参见 创建模型路由访问密钥。

2. 新增 BYOK 模型,详细操作指导请参见 创建 BYOK 实例。

3. 关联模型并配置模型路由策略,详细操作指导请参见 配置模型调度管理。

赞 (0)
上一篇 4天前
下一篇 4天前