云原生智能网关 模型探测

自定义供应商模型探测支持在创建自定义模型服务时,通过探测能力自动发现供应商提供的模型列表,避免手动逐个配置模型名称。适用于以下场景。

相关产品
云原生智能网关 产品页,含版本规格、价格与购买入口。

一、操作场景

·快速接入:对接 OpenAPI 兼容协议的自定义供应商时,快速获取可用模型列表。

·批量导入:供应商提供多个模型时,一键导入所有模型名称,避免手动录入。

·版本同步:定期探测供应商的模型列表,自动同步新增或下线的模型。

·兼容性验证:验证自定义供应商的 API Endpoint 和协议兼容性,确保配置正确。

注意:说明:

注意:模型探测仅支持 OpenAI 兼容协议的供应商,通过调用供应商的 /v1/models 接口获取模型列表。

二、前置条件

1. 已创建 AI 网关实例且处于运行中状态。

2. 准备好自定义供应商的 API Endpoint 和访问凭证。

3. 供应商需支持 OpenAI 兼容协议的模型列表查询接口(/v1/models)。

三、步骤 1:进入模型服务创建页

1. 登录微服务平台控制台,在左侧导航栏单击 AI 网关 > 实例列表;

2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面;

3. 在左侧导航栏单击模型管理,然后单击模型服务页签,在服务列表中单击新建。

四、步骤 2:选择自定义供应商

1. 在 模型供应商 区域,选择 自定义供应商;

2. 配置基本信息。

五、步骤 3:发起模型探测

在配置完成基本信息后,在 选择模型策略 区域单击 发起模型探测:

六、步骤 4:确认并导入模型

1. 在探测结果列表中勾选需要导入的模型;

2. 单击 确定 或类似确认按钮;

3. 系统将选中的模型导入到模型配置中。

七、场景二:已有服务重新探测

对于已创建的自定义模型服务,可以重新发起模型探测以同步供应商的模型更新。

八、操作步骤

1. 进入目标模型服务的编辑页面;

2. 在 选择模型策略 区域单击 发起模型探测;

3. 查看探测结果,勾选新增的模型或取消勾选已下线的模型;

4. 保存配置。

九、注意事项

1. API 接口要求:模型探测通过调用供应商的 /v1/models 接口获取模型列表,请确保供应商支持该接口。

2. 访问凭证:探测时需要使用供应商的 API Key 等访问凭证进行认证。

3. 探测失败处理:探测失败时(如网络不可达、认证失败、接口不兼容),页面会显示具体错误信息,不影响后续手动配置模型。

4. 重新探测的频率:建议定期(如每周)重新探测一次,同步供应商的模型更新。但注意不要过于频繁,避免对供应商造成不必要的负担。

5. 模型名称准确性:导入的模型名称为供应商返回的原始名称,请确认与实际调用时使用的 model 参数一致。

赞 (0)
上一篇 4天前
下一篇 4天前