云原生智能网关 意图识别路由

意图识别路由策略基于用户请求的语义内容,自动识别用户的意图类别,并将请求路由到对应的模型服务。适用于以下场景。

相关产品
云原生智能网关 产品页,含版本规格、价格与购买入口。

一、操作场景

·多任务模型分发:根据用户意图将翻译、代码生成、对话等不同任务路由到最优模型

·成本优化:简单意图(如闲聊)路由到低成本模型,复杂意图(如代码审查)路由到高性能模型

·分级服务:VIP 用户意图路由到专有服务,普通用户路由到共享服务

·场景隔离:将不同业务场景的请求隔离到不同的模型服务,避免相互影响

注意:说明:

注意:意图识别路由需选择一个意图识别模型服务来执行语义分析。该模型用于理解用户请求的意图,不直接处理用户的业务请求。

二、前置条件

·已创建 AI 网关实例且处于运行中状态

·已创建至少两个模型服务(意图识别模型 + 业务模型)

·已明确需要识别的意图类别及其对应的路由目标

三、步骤 1:配置模型 API

1. 登录 微服务平台控制台,在左侧导航栏单击 AI 网关 > 实例列表;

2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面;

3. 选择左侧导航栏 模型管理 > 模型 API;

4. 单击新建或编辑已有 API;

5. 完成基本信息配置后,进入 第二步:选择模型服务;

6. 选择 服务类型 为 多模型服务;

7. 在 路由策略 区域,选择 意图识别路由。

四、步骤 2:配置意图识别模型

在 意图识别模型配置 区域,选择用于意图识别的模型:

配置参数说明:

参数 是否必填 说明
意图识别模型 是 用于执行意图识别的模型服务
置信度阈值 是 意图识别置信度低于此值时,使用默认服务
默认模型服务 是 未匹配任何意图或置信度不足时使用的服务

置信度阈值建议值:

阈值 说明 适用场景
0.50 较低的置信度要求,更多请求按识别意图路由 意图类别较少且区分度高时
0.70 推荐的置信度阈值,兼顾准确率和覆盖率 大多数场景
0.85 较高的置信度要求,仅置信度高的意图才按类别路由 对路由准确性要求高的场景

五、步骤 3:配置意图类型与模型映射

在路由规则配置区域,配置各意图对应的模型服务,支持代码编写、数学计算、翻译、快速问答和复杂推理场景。

六、步骤 4:保存配置

单击确定保存模型 API 配置,意图识别路由立即生效。

七、注意事项

·意图识别模型选择:意图识别模型需要具备良好的自然语言理解能力(NLU)。

·额外 Token 消耗:每个请求在路由前会先调用意图识别模型进行语义分析,产生额外的 Token 消耗和时间开销。

·意图请求不记录:意图识别调用的请求和响应不写入 LLM Log(仅为路由决策服务)。

·置信度阈值调优:建议先使用较低的阈值(0.5)观察识别效果,根据实际表现逐步调整。

·路由延迟增加:由于需要先调用意图识别模型,路由延迟可能会增加(取决于模型响应速度)。

赞 (0)
上一篇 4天前
下一篇 4天前