一、操作场景
你需要在此创建和管理全局配置,供缓存策略等功能引用。当前支持 ES(Elasticsearch)类型,用于模型 API 语义缓存的向量数据库;精确缓存的 Redis 也可通过引用全局配置的方式接入自建实例。这篇说说如何新建、查看、编辑和删除全局配置,以及如何在缓存策略中引用。
二、新建全局配置
1. 登录 AI 网关控制台 ,左侧导航栏选择 AI 网关 > 实例管理,进入实例列表。
2. 在实例列表页面,单击需要配置的网关实例的"ID",进入该网关实例的基本信息页面。
3. 在左侧导航栏单击全局配置,在列表页面单击新建。
4. 在新建全局配置窗口中完成配置。
| 参数 | 是否必填 | 说明 |
| 配置名称 | 是 | 输入此全局配置的名称,用于标识。 |
| 配置类型 | 是 | 选择中间件类型,支持 ES(Elasticsearch)。 |
| 连接地址 | 是 | 实例的连接地址,例如 127.0.0.1。 |
| 端口 | 是 | 实例的端口号,取值范围为 1 – 65535。 |
| 用户名 | 否 | 连接实例使用的用户名。 |
| 密码 | 否 | 连接实例使用的密码,最长 128 个字符。 |
| Embedding 模型 (model_id) | 是 | ES 中已部署的 Embedding 模型 ID,例如 model-123。可单击字段下方的前往 ES 控制台链接,在 ES 控制台"模型管理 > 模型列表"中查看。 |
| 描述 | 否 | 该配置的描述信息,便于后续管理。最长 200 个字符。 |
注意:说明:
注意:Embedding 模型填写的是已在 ES 中部署完成的模型 ID,而不是模型名称。该模型用于将请求文本转换为向量,是语义缓存能够匹配语义相近请求的基础。若模型未部署或 ID 填写错误,引用该全局配置的语义缓存将无法正常写入和检索向量。
5. 单击确定,完成全局配置的创建。
三、查看与编辑全局配置
1. 在实例列表页面,单击需要配置的网关实例的"ID",进入该网关实例的基本信息页面。
2. 在左侧导航栏单击全局配置,在列表页面查看已创建的全部配置。
3. 找到目标配置,单击其操作列的编辑,可修改配置信息。修改后单击确定保存。
四、在缓存策略中引用全局配置
1. 在实例列表页面,单击需要配置的网关实例的"ID",进入该网关实例的基本信息页面。
2. 在左侧导航栏单击模型管理,然后单击模型 API 页签,单击目标 API 的"ID/名称"进入详情页面。
3. 单击缓存策略页签。若尚未配置缓存策略,页面展示缓存策略说明页,单击配置缓存策略进入配置缓存策略页面。
4. 在配置缓存策略页面中打开启用缓存开关,按需引用全局配置。
·语义缓存引用向量数据库:
展开语义缓存区域并打开其开关,在向量数据库下拉框中选择已创建的 ES 类型全局配置。下拉框支持搜索,选项显示为"配置名称(配置类型)"。
·精确缓存引用 Redis:
展开精确缓存区域并打开其开关,在 Redis 服务来源的"配置方式"中选择引用全局配置,然后在下方"全局配置"下拉框中选择 Redis 类型的全局配置。若选择默认 Redis,则使用网关默认 Redis,无需额外配置。
注意:说明:
注意:若尚未创建所需的全局配置,可单击下拉框右侧的新建配置直接创建;创建完成后单击下拉框旁的刷新图标重新拉取列表。语义缓存的“向量数据库”为必填项,未选择时无法保存语义缓存配置。
5. 完成配置后保存。保存后在缓存策略页签中可查看当前生效的配置,语义缓存的“向量数据库”以链接形式展示所引用的全局配置名称,可单击跳转查看。
五、删除全局配置
1. 在实例列表页面,单击需要配置的网关实例的"ID",进入该网关实例的基本信息页面。
2. 在左侧导航栏单击全局配置。
3. 在列表页面找到目标配置,查看其"引用次数"列确认是否仍被引用,然后单击操作列的删除。
4. 系统会弹窗提示你确认删除。确认无误后单击确定即可删除;若需放弃删除,可单击取消。