云原生智能网关 熔断策略

当 MCP 网关接入的某个后端工具(Tool)出现持续性故障(如响应持续变慢、持续返回错误、第三方接口持续限频)时,普通的“调用重试”反而会放大无效请求、拖垮整体性能。为此,MCP 网关提供工具熔断与降级能力:当某个 Tool 的后端持续故障达到设定阈值时,网关会自动“熔断”该 Tool,让后续请求快速失败并返回降级响应,不再打向已故障的后端;待后端恢复后,网关会自动探测并恢复正常调用。每个 Tool 拥有独立的熔断。

相关产品
云原生智能网关 产品页,含版本规格、价格与购买入口。

一、前提条件

·已创建 AI 网关(MCP 网关)实例。

·已创建 HTTP 转 MCP 服务并完成 Tool 的配置。

二、熔断工作原理

熔断器有三种状态,并在三者之间自动切换,无需人工干预:

状态 说明
关闭(正常) 请求正常转发到后端,同时持续统计错误率 / 慢调用率
打开(熔断中) 触发熔断后,所有请求立即返回降级响应,不再打向后端;持续一段时间后进入“半开”
半开(探测中) 放行少量探测请求到后端:若探测成功达到阈值,则恢复为“关闭”;若探测失败,则重新熔断

三、步骤一:进入 Tool 熔断策略配置

1. 登录 微服务平台控制台 ,左侧导航栏选择 AI 网关进入实例列表。

2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面。

3. 选择 MCP 管理,找到目标 HTTP 转 MCP 服务,进入其 Tool 列表。

4. 单击目标 Tool 进入 Tool 详情,选择策略配置页签,找到熔断策略区域。

四、步骤二:开启并配置熔断策略

1. 打开熔断策略 ,展开配置表单。

2. 配置熔断触发条件(以下两类条件可单独或同时启用,至少启用一项,任一条件满足即触发熔断):

基础统计设置

配置项 默认值 取值范围 说明
统计时长 10 秒 1~60 秒 统计错误率 / 慢调用率的滑动时间窗口
最小请求数 10 次 1~100 次 窗口内请求数不足时不触发熔断,避免低流量误判

错误比例触发(默认开启)

配置项 默认值 取值范围 说明
触发状态码 500、502、503、504 400~599,最多 32 个 哪些 HTTP 状态码计入“错误”(可按需加入如 429)
错误比例阈值 50% 1~100 错误率达到该比例时触发熔断

慢调用触发(默认关闭)

配置项 默认值 取值范围 说明
最大响应时间 3000 毫秒 100~60000 毫秒 超过该时间的调用视为“慢调用”。该值必须小于后端服务的请求超时时间,否则慢调用无法被统计到
慢调用比例阈值 80% 1~100 慢调用率达到该比例时触发熔断

3. 配置熔断器恢复行为:

配置项 默认值 取值范围 说明
熔断持续时间 30 秒 5~600 秒 熔断打开后持续该时长,到期后进入半开探测
半开探测请求数 3 个 1~10 个 半开状态下放行到后端的探测请求数量
半开成功阈值 2 个 1~探测请求数 探测成功数达到该值则恢复正常
熔断时跳过重试 开启 开 / 关 建议保持开启。熔断期间跳过该 Tool 的重试,避免无效循环

4. 配置降级策略(熔断期间向调用方返回的内容):

降级策略 默认返回码 返回内容 适用场景
无降级 503 返回标准错误信息(Circuit breaker open) 调用方(Agent)能识别错误并自行处理,不需要“假成功”响应
固定 JSON 响应 200 返回你预设的固定 JSON 内容 调用方可接受空结果或兜底提示,无需真实数据

5. 确认配置无误后,单击 提交。

五、步骤三:查看与修改

·查看已启用配置:开启后,熔断策略区域会显示 “已开启” 及当前配置摘要(触发条件、统计窗口、熔断持续时间、降级策略等),可单击编辑修改。

·修改配置:调整参数后重新保存即可,约 5 秒内生效。

·关闭熔断:将熔断策略开关关闭并保存,该 Tool 立即恢复为正常转发(不熔断)。

六、应用场景示例

场景 现象 推荐配置
后端持续变慢 后端工具响应从毫秒级劣化到秒级,重试导致请求大量堆积 开启“慢调用触发”(最大响应时间 3000ms、比例 80%),降级返回固定 JSON
后端持续报错 后端依赖故障持续返回 5xx,重试放大无效请求 开启“错误比例触发”(状态码 500/502/503/504、阈值 50%),保持“熔断时跳过重试”
第三方接口限频 第三方 API 持续返回 429,Agent 陷入无效调用循环 将 429 加入“触发状态码”,开启错误比例触发,降级返回固定 JSON 兜底

七、相关说明

·熔断与降级默认关闭,开启后才生效,不影响存量 Tool 的现有行为。

·每个 Tool 的熔断器相互独立,互不影响。

·建议将熔断与“工具调用重试”配合使用,并保持“熔断时跳过重试”开启,以获得最佳容错效果。

赞 (0)
上一篇 4天前
下一篇 4天前