模型路由 配置提示词管理

如何配置提示词,并对其进行版本管理与用户组关联配置。配置完成后,用户请求经由模型路由统一接入,平台完成计费、限流与日志记录后,根据你配置的提示词及改写策略,在请求转发至后端模型前注入对应的提示词,实现对企业级对话行为的统一约束与管控。

相关产品
模型路由 产品页,含版本规格、价格与购买入口。

一、简介

提示词管理具有以下核心能力:

·集中维护:所有提示词在统一页面创建维护,包括提示词内容、改写策略、最大 Token 数。

·版本管理:每次改动生成版本,支持查看历史、一键变更。

·按组下发:不同业务线关联不同提示词,规矩相互隔离。

·零代码:注入和改写都在网关侧完成,业务方无需发版。

二、前提条件

1. 建议提前阅读 使用约束 与 支持模型 了解相关信息。

2. 已创建模型路由实例,详细操作指导请参见 创建模型路由实例。

3. 已创建 BYOK 实例,详细操作指导请参见 创建 BYOK 实例。

4. 已创建模型路由访问密钥(API Key),详细操作指导请参见 创建模型路由访问密钥。

5. 已创建用户组,详细操作指导请参见 用户组介绍。

三、步骤1:创建提示词

1. 登录 模型路由 控制台,在实例管理页面,单击目标实例 ID,进入目标实例的基本信息页面。

2. 切换至提示词管理页签,单击新建。

3. 在新建提示词弹窗中,配置提示词名称、提示词内容、改写策略、最大输出 Token 数及版本说明。

参数 说明
提示词名称 提示词的名称,为必填项,用于区分不同提示词的管控目的。
提示词内容 平台注入到请求中的系统提示词正文,为必填项,用于约束模型行为。
改写策略 当请求中已包含客户端提示词时,平台配置与客户端内容之间的合并方式。支持三种策略,详见下方说明。
最大输出 Token 数 限制该提示词占用的 Token 上限,避免过长提示词挤占上下文窗口。
版本说明 可按需输入本次创建或变更的备注,便于版本追溯。

改写策略支持以下三种方式:

改写策略 说明
完全覆盖 无论客户端请求是否自带提示词,都会用平台配置的提示词替换,管控力度强。
头部追加 把平台配置的提示词追加到客户端请求提示词的头部,两者共同生效。
尾部追加 把平台配置的提示词追加到客户端请求提示词的尾部,两者共同生效。

4. 单击确定,完成提示词的创建,系统自动生成首个版本。

四、步骤2:管理提示词版本

1. 在提示词管理列表,可查看各提示词的名称、版本数量、关联用户组、版本覆盖度以及修改时间。单击目标提示词操作中的版本管理,展开版本列表页面。

2. 在版本列表中,可查看各版本的版本号、提示词内容、关联用户组及操作。

3. 单击目标版本操作列的编辑,可修改该版本提示词的内容、改写策略、最大输出 Token 数及版本说明;修改版本说明外的其他内容将直接生成新版本。

4. 单击新建版本,可编辑内容并生成新版本,用于在不影响线上配置的前提下迭代提示词。

注意:说明:

五、步骤3:配置关联用户组

1. 在提示词版本管理页面,单击目标版本关联用户组列的管理组,打开用户组关联弹窗。

2. 在左侧可选用户组区域,选择需要关联的用户组,单击移动图标将其添加至右侧已选用户组区域。

3. 若需解关联用户组,可在右侧已选用户组中,选择需要解关联的用户组,单击删除图标将其解关联。

4. 单击确定完成配置。

注意:说明:

注意:将用户组加入另一版本时,系统会自动完成跨版本的唯一归属迁移,确保一个用户组在同一份提示词下仅归属一个版本。

六、步骤4:查看用户组关联的提示词

1. 在实例基本信息页面,切换至用户组页签,单击左侧目标用户组名称,进入用户组详情页面。

2. 在关联提示词区域, 可直接查看本组关联的提示词名称及对应版本。

3. 单击关联提示词区域的提示词名称,可跳转至对应的提示词页面,进行版本与关联管理。

七、步骤5:删除提示词

1. 在实例管理页面,单击目标实例 ID,进入目标实例基本信息页面。

2. 切换至提示词管理页签,在提示词列表中找到需要删除的提示词。

3. 确认该提示词关联用户组数为0。若仍有用户组关联,请先在版本管理页通过管理用户组解除所有关联,再执行删除。

注意:说明:

注意:若某提示词存在已关联的用户组,则该提示词的删除按钮将置灰不可用,需先解除所有关联用户组后才可删除。

4. 单击目标提示词操作列的删除,在弹出的确认对话框中单击确定,完成删除。

注意:删除操作不可撤销。提示词删除后,其所有历史版本及关联记录将被清除。请确认已无业务依赖后再执行删除。

八、后续操作

·创建完成后,你可以在实例管理页面切换至聊天测试页签,对配置进行验证, 详细操作请参见 配置聊天测试。

·创建完成后,你可在实例管理页面切换至用量详情页签,关注 Token 消耗和模型资源使用情况,详细操作请参见 查看用量详情。

赞 (0)
上一篇 4天前
下一篇 4天前