云原生智能网关 降级策略

降级策略用于在后端模型服务出现异常时,自动降级服务质量,保障系统可用性。通过配置降级策略,可以以。

相关产品
云原生智能网关 产品页,含版本规格、价格与购买入口。

一、操作场景

·当服务异常时自动触发降级

·查看降级触发记录。

降级策略是保障系统稳定性的重要手段,与跨服务 Fallback 配合使用可实现完整的容灾方案。

这篇档指导你如何在 AI 网关中配置和管理降级策略。

二、前置条件

·已创建 AI 网关实例

·已创建模型 API

·已创建模型服务

三、操作步骤

降级策略在创建或编辑模型 API 时配置,详情请参见 模型 API。

四、步骤1:进入 API 详情页

1. 登录 微服务平台控制台,左侧导航栏选择 AI 网关进入实例列表。

2. 在实例列表页面,单击需要配置的网关实例的"ID",进入该网关实例的基本信息页面。

3. 在左侧导航栏单击模型管理,单击模型 API 页签。

4. 单击目标模型 API 名称(已创建的 API),进入其详情页。

5. 在 API 详情页中找到降级策略区域,单击右上角配置降级策略按钮,进入降级策略配置对话框。

五、步骤2:配置降级触发条件

在配置对话框中,开启降级开关,配置以下参数:

参数 是否必填 说明 示例
触发条件 是 选择降级触发条件,支持多选:• 服务不可用:主模型服务返回 500 / 502 / 503 等错误时触发• 连接超时:请求超过超时时间无响应时触发• 速率限制(HTTP 429):主模型服务触发限流时触发 服务不可用速率限制

六、步骤3:配置备用模型服务

1. 依次添加备用模型服务(按顺序排列)。

2. 降级触发后,网关将按备用模型服务的顺序依次尝试调用。

3. 配置完成后,单击确定保存。

七、查看降级状态

在 API 详情页的降级记录区域,可查看历史降级记录:

·降级触发时间

·降级原因(具体的触发条件和阈值)

·主服务

·最终使用服务

·降级结果

赞 (0)
上一篇 4天前
下一篇 4天前