模型路由 创建 BYOK 实例

这篇说说创建腾讯云模型路由BYOK实例的完整流程,涵盖前提条件(需上游模型API Key,自建模型需先创建CMR私网管道)、接入配置(输出模态、模板、厂商协议、站点、Endpoint/BaseURL等参数)及模型配置(网络、API Key、模型选择与连通性探测)。 前提条件:需上游模型API Key,自建模型须先创建CMR私网管道。 接入配置:支持文本生成、视频生成、向量嵌入、重排序、分类决策等模态,可选预置模板或自。

相关产品
模型路由 产品页,含版本规格、价格与购买入口。

这篇说说如何创建 BYOK 实例。

一、前提条件

·你已获得上游模型的 API key,支持原厂模型、第三方代理或自建模型的 API Key。

·如果你的上游模型为自建模型,请先完成 CMR 私网管道的创建。

二、操作指导

1. 登录 模型路由 控制台,在左侧导航栏选择 BYOK > BYOK 管理。

2. 在 BYOK 页面,单击新建。

3. 在新建页面中,按需选择或者填写相关参数。

参数 说明
输出模态 当前已支持多种输出模态。文本生成:适用于对话、文本补全等场景(支持 chat、responses、completions 等协议)。视频生成:将文本、图片转为视频内容用于创作、合成,对应视频生成协议。向量嵌入:适用于文本向量化、语义检索等场景(支持 embedding 协议)。重排序:适用于候选排序、检索结果精排等场景(rerank 协议)。分类决策:对内容进行判定/评估/校验并输出分类决策结果。
选择模板 支持选择预置模板快速配置或自定义配置两种方式。预置模板快速配置:为方便用户配置,产品已预置部分厂商的配置模板,如腾讯云 MaaS TokenHub,可按需选择。自定义配置:当预置模板尚未覆盖你的使用场景,比如,使用自建模型时,可选择。
所属厂商与协议 所属厂商:当选择预置模板快速配置时,此项已经预填,无需修改。当选择自定义配置时,可通过下拉选择你的模型提供商(如 DeepSeek),或者通过自定义的方式输入厂商名称。协议:当选择预置模板快速配置时,此项已经预填,无需修改。当选择自定义配置时,可通过下拉选择对应的协议。
所属站点 在输出模态为文本生成时,部分模型如智谱,需要选择所属站点,你可按需选择。
Endpoint 协议 & BaseURL 在输出模态为文本生成时需要配置,即 OpenAI 兼容 Base URL 或者 Anthropic Base URL。为方便用户配置,产品已预置部分厂商的相关参数,包括多协议,你可按需配置。
BaseURL & EndpointPath 在输出模态为向量嵌入时需要配置,最终请求地址 = BaseURL + EndpointPath。为方便用户配置,产品已预置部分厂商的相关参数,你可按需配置。
实例名称 选填,最多支持 255 个字符。
标签 你可选择已有的标签键和标签值;若所需标签不存在,也可单击添加标签。详情请参见 创建标签。

4. 接入配置完成后,进入模型配置步骤。按需选择或者填写相关参数,并单击确定。仅输出模态为文本生成时,需要单击下一步:多模态配置。

参数 说明
网络配置 支持通过以公网或者内网的方式配置模型。公网:通过公共互联网配置模型,如原厂模型。内网:通过私有网络配置模型,如自建模型。
CMR 私网管道 仅在网络配置选择内网时涉及。通过下拉选择已存在的 CMR 私网管道,也可以 创建 CMR 私网管道。
域名 选填,仅在网络配置选择内网时涉及。往上游模型发送请求时携带的 HTTP Header。通常无需填写,默认使用「BaseURL」中的域名;当「BaseURL」填写为 IP 或 VIP 时,且上游需按域名路由的情况下,在此指定对应域名(如 api.deepseek.com)。
API 填写方式 支持手动填写和批量导入两种方式。手动填写:手动将 API key 和密钥依次粘贴到对应的输入框中。批量导入:通过下载模板文件,填写 API key 和密钥后,再以导入文件的方式实现批量快速导入。
选择模型 支持手动输入模型名称,也支持通过单击获取模型列表来拉取支持模型。如需更改模型对外名称,可以在对外展示名称输入框中,输入符合你标准的名称。
连通性探测 添加 API Key 并选择正确的模型后即可单击开始探测,开始探测 API Key 的健康情况,方便你及时剔除不健康的 API Key。

5. (仅输出模态为文本生成时涉及)在多模态配置步骤中,你可以根据模态可用性探测结果按需选择各模型需要启用的模态,并单击确定,完成配置。

参数 说明
模型名称 展示已选择的模型名称。不同模型支持的模态能力可能不同,请以页面展示结果为准。
启用模态 选择当前模型需要启用的模态。启用后,该模型可在对应模态场景下被调用。
模态可用性探测 用于探测当前 API Key 下各模型模态的可用情况。单击开始探测,探测完成后,可在上方模型列表的模态可用性中查看探测结果。
模态可用性 展示当前模型各模态的可用状态,可根据提示调整启用模态或重新探测。
按探测结果启用 单击后,系统将根据当前探测结果自动启用可用模态。
重新探测 单击后,系统将重新探测当前 API Key 下各模型模态的可用情况,并刷新模态可用性结果。

6. 完成以上参数配置后,单击确定完成 BYOK 实例的创建。

三、相关文档

·CMR 私网管道介绍

·创建 BYOK 实例

赞 (0)
上一篇 4天前
下一篇 4天前