云原生智能网关 模型服务

一、添加模型服务

1. 登录 微服务平台控制台，在左侧导航栏单击 AI 网关 > 实例列表。

2. 在实例列表页面，单击需要配置的网关实例的“ID”，进入该网关实例的基本信息页面。

3. 在左侧导航栏单击模型管理，然后单击模型服务页签，在服务列表中单击新建。

4. 在“新建模型服务”窗口中，完成第一步“基本信息”的配置。

注意：AI 模型服务提供的大模型能力由第三方提供，AI 网关不直接提供这些能力。请自行评估服务适用性与可靠性，确保使用行为符合相关法规和协议要求，否则请自行承担因违反规定产生的后果。

5. 配置高级配置(可选)：

在高级配置区域，配置服务的网络超时、SNI、配额和标签等参数。

·超时配置说明：

·超时配置建议值：

·SNI 配置说明：

·配额配置说明：

注意：说明：

注意：配额配置用于配额感知 Fallback 场景。当消费者的剩余配额低于阈值时，网关自动将请求降级到备用服务。如果模型服务未配置 RPM/TPM，则无法参与配额感知 Fallback。

·服务标签说明:

注意：说明：

注意：服务标签用于在模型 API 中通过“基于标签路由”策略自动筛选服务。新增模型服务时只需配置标签，即可自动被匹配的 API 发现和使用，无需修改 API 配置。

6. 完成基本信息后，单击下一步，进入选择模型策略步骤。

模型选择方式：此配置决定网关如何处理客户端请求中的模型（model）参数。

指定模型透传请求模型

网关将忽略客户端请求中的 model 参数，统一使用你在下方“默认模型”中指定的模型。此模式适合成本控制和高可用场景，便于统一路由和降级。

·默认模型：当“模型选择方式”为“指定模型”时，必须在此处选择一个具体的模型名称

·模型 Fallback：开启后，当请求“默认模型”失败时，网关可根据规则自动切换（Fallback）到其他可用模型，保障服务高可用。

·备选规则：开启 Fallback 后，需在此选择或配置当主模型不可用时的备选模型列表及切换规则。

网关将直接使用客户端请求中的 model 参数，并将其转发给供应商。此模式适合需要客户端灵活控制模型选择的场景（如评估请求延迟、统计 Token 用量等），但使用透传请求时网关无法明确识别用户实际请求的模型名称，请确保客户端传递正确的模型名称。

·若用户请求的模型名称与后端供应商的模型名称一致或不需要对模型名称做任何转换处理，可直接透传用户请求中的 model name 至后端服务。

·若需将用户请求中的 model name 替换为供应商中定义的模型名称，可配置模型名称映射信息。支持精确匹配和前缀匹配(*)，支持添加多条映射规则。

·请求模型名称（客户端请求的模型名称）

·目标模型名称（需要重写的模型名称，即后端供应商实际使用的模型名称）

高级配置（可选）

模型参数校验：开启后，网关将校验客户端请求中的 model 参数是否在允许的列表内。

·允许的模型列表：定义客户端允许请求的模型名称白名单。

·校验失败处理：定义当模型校验失败时的处理策略，支持“返回404”或“使用默认模型降级”。

7. 配置完成后，单击确定即可创建模型服务。

8. 添加后，服务列表中会出现新增的服务，单击服务 ID/名称，查看详细的服务信息。

二、编辑服务

在模型服务列表页面，找到目标服务，单击其操作列下的编辑，即可修改服务配置信息，修改后单击确定保存。

三、删除服务

在模型服务列表页面，找到目标服务，单击其操作列下的删除，系统将进行删除前的依赖关系校验。

1. 系统会弹窗提示你确认删除，并自动检查该服务是否存在被其他资源（如“模型 API”）绑定的情况。

2. 确认结果：

·若无依赖：弹窗将直接显示服务 ID 和名称，单击确定即可删除。

·若存在依赖：弹窗会在服务信息下方显示“资源删除依赖关系检查结果”，并提示“存在未解除的依赖关系”，同时列出具体的依赖项。

3. 若存在依赖，你需要先行解除所有列出的依赖关系。解除依赖后，可单击弹窗内的重新检查操作，系统将再次进行校验。当校验通过，依赖提示消失后，单击确定即可最终删除该服务。若需放弃删除，可单击取消。

四、生命周期状态说明

模型服务支持以下三种状态，模型服务列表新增状态列与上线/下线操作：

状态转换触发条件：

五、上线/下线模型服务

1. 在左侧导航栏单击模型管理，然后单击模型服务页签。

2. 在模型服务列表中，查看各服务的状态列。

3. 对目标服务执行操作：

·上线：单击操作列的上线，服务进入"运行中"状态，开始接收流量（模型服务默认上线状态）。

·下线：单击操作列的下线，在确认弹窗中单击确认下线。下线后该服务停止接收新的模型 API 请求，关联的模型 API 不再路由到该服务，服务配置不丢失，可重新上线。

六、配置健康检查

1. 在模型服务详情页，找到健康检查配置区域，单击编辑。

2. 开启健康检查开关，配置通用参数：