模型路由 管理 BYOK 实例

一、基本信息

1. 登录模型路由控制台，在左侧导航栏选择 BYOK > BYOK 管理，在列表页中可查看已创建的 BYOK 实例。

2. 单击具体的 BYOK 实例，进入基本信息页。在基本信息页，可对如下参数进行配置或修改。

参数	说明
BYOK ID	展示已创建 BYOK 实例的 ID 信息，可复制。
BYOK 名称	展示已创建 BYOK 实例的名称信息，单击编辑图标，可对名称进行修改。
所属厂商	模型归属厂商名称。
协议	模型所使用的协议，如 OpenAI。
Endpoint 协议 & BaseURL	输出模态为文本生成时涉及，即 OpenAI 兼容 Base URL 或者 Anthropic Base URL，在支持多协议时，可编辑、新增或者删除。
BaseURL & EndpointPath	在输出模态为向量嵌入时需要配置，最终请求地址 = BaseURL + EndpointPath，支持复制和编辑。
标签	可对标签键和标签值进行编辑，也可选择添加标签，详情请参见创建标签。

1. 登录模型路由控制台，在左侧导航栏选择 BYOK > BYOK 管理，在列表页中可查看已创建的 BYOK 实例。

2. 单击具体的 BYOK 实例，进入基本信息页。在基本信息页，可对健康检查配置进行编辑。

不同输出模态支持的配置参数可能存在差异，以控制台展示为准。

参数	说明
健康检查	帮助客户自动检查 BYOK 中的模型是否健康，推荐你开启健康检查。
健康探测方式	可选模型探测和服务探测。其中模型探测：通过会给上游模型发请求的方式，探测模型的健康状态。此探测方式能够检查模型调用链路是否健康，但会消耗少量 Token。服务探测：通过 /v1/models 等服务接口验证地址和 Key 是否有效。此探测方式不调用具体模型，因此不消耗 Token。适合低成本的可用性检查，如图片生成、视频生成或上游模型价格较高的场景。说明：输出模态为图片生成、视频生成的 BYOK 实例，不支持模型探测。输出模态为分类决策的 BYOK 实例不支持服务探测方式。
检测间隔	健康检查的探测间隔，取值范围 5 ~ 240 分钟，步长 5 分钟
不健康阈值	如果连续 n 次（n 为填写的数值）收到的健康检查结果失败，则识别为不健康，控制台显示为失败。取值范围 1 ~ 10。
Max Token	单次探测的最大输出 token，取值范围 1 ~ 1024说明：服务探测方式无需配置该参数。仅输出模态为文本生成的 BYOK 实例支持设置该参数。
Endpoint 协议	健康检查使用的后端转发协议，针对输出模态为文本生成且配置多协议的 BYOK 实例，可选择。

1. 登录模型路由控制台，在左侧导航栏选择 BYOK > BYOK 管理，在列表页中可查看已创建的 BYOK 实例。

2. 单击具体的 BYOK 实例或在列表页操作列中单击管理 Key，可直接跳转至基本信息页，支持添加/删除 Key。添加 Key 时，支持手动填写，或批量导入，要填写参数说明如下。

参数	说明
API 填写方式	支持手动填写和批量导入两种方式。手动填写：手动将 API key 和密钥依次粘贴到对应的输入框中。批量导入：通过下载模板，填写 API key 和密钥，再以导入文件的方式实现批量快速导入。
连通性探测	系统自动按照你已选定的 Endpoint 协议，使用你录入的每个 API Key，逐一连接所选模型，进行连通性探测。探测 API Key 的健康情况，方便你及时剔除不健康的 API Key。

注意：说明：

注意：BYOK 模型需要至少保留一个 Key，模型仅有一个 Key 的情况下不允许删除该 Key。

1. 登录模型路由控制台，在左侧导航栏选择 BYOK > BYOK 管理，在列表页中可见已创建的 BYOK 实例。

2. 单击具体的 BYOK 实例，进入基本信息页。在基本信息页，可对模型做如下管理。

1. 在基本信息页，模型管理模块单击添加模型（多模态仅在输出模态为文本生成时涉及）。添加模型需要填写的参数说明如下。

2. 选择模型

参数	说明
Endpoint 协议 & BaseURL	输出模态为文本生成时涉及，即 OpenAI 兼容 Base URL 或者 Anthropic Base URL，在支持多协议时，可编辑、新增或者删除。
BaseURL & EndpointPath	在输出模态为向量嵌入时需要配置，最终请求地址 = BaseURL + EndpointPath，支持复制和编辑。
API Key	选择你在当前 BYOK 实例中添加的 API Key。
选择模型	支持手动输入模型名称，也支持通过单击获取模型列表来拉取支持模型。如需更改模型对外名称，可以在对外展示名称输入框中，输入符合你标准的名称。
连通性探测	添加 API Key 并选择正确的模型后即可单击开始探测，开始探测 API Key 的健康情况，方便你及时剔除不健康的 API Key。

填写完成后，单击下一步：多模态配置。

3. 多模态配置，仅输出模态为文本生成的 BYOK 涉及。

参数	说明
模型名称	展示已选择的模型名称。不同模型支持的模态能力可能不同，请以页面展示结果为准。
启用模态	选择当前模型需要启用的模态。启用后，该模型可在对应模态场景下被调用。
模态可用性探测	用于探测当前 API Key 下各模型模态的可用情况。单击开始探测，探测完成后，可在上方模型列表的模态可用性中查看探测结果。
模态可用性	展示当前模型各模态的可用状态，可根据提示调整启用模态或重新探测。
按探测结果启用	单击后，系统将根据当前探测结果自动启用可用模态。
重新探测	单击后，系统将重新探测当前 API Key 下各模型模态的可用情况，并刷新模态可用性结果。

4. 确认无误后单击完成。

注意：说明：

注意：仅完成网络配置未完成模型 & Key 配置的自建模型，可以在列表页操作列中单击配置模型继续完成模型 & Key 配置。

1. 在基本信息页，模型管理模块选择设置原始模型灰度。

2. 在设置原始模型灰度中按需填写相关参数。

参数	说明
候选模型	输入即将灰度的模型名称，候选模型不能与当前模型名称相同，也不能与同一 BYOK 下其他已注册模型重名。说明：这里添加的原始模型名称，不影响对外模型名称的使用。
灰度比例	可选择逐渐灰度和全量切换，建议先小比例验证，再逐步提高比例，确认后单击全量切换。灰度期间，不支持修改当前模型和候选模型的名称。说明：灰度比例只作用于需要重新选择模型的请求。命中会话绑定（Sticky）的请求会继续使用原模型，因此实际流量占比可能与设定值存在偏差。设置全量切换后，不支持回滚。但可以通过再次设置原始模型灰度，切换回旧模型。
回滚	在灰度中的模型，支持回滚。

单击具体的 BYOK 实例 ID 进入基本信息页，切换至用量详情页，即可查看用量详情，详情可参见用量详情。

·CMR 私网管道介绍

·创建 BYOK 实例