一、场景策略配置
生成式 AI 应用的内容风险,既可能来自用户输入,也可能来自模型输出,两者的审核重点不同:输入侧重防范违规指令与诱导,输出侧重防控生成内容本身的合规风险,因此输入和输出建议分别创建策略。同时,不同类型的应用风险分布差异明显,对应的策略配置也有所区别。
本服务提供如下常见的生成式 AI 应用的策略模板,可辅助你快速完成初始化配置。接入前可先确定你的应用所属类型,据此明确审核重点。
| 应用类型 | 典型应用 | 模板覆盖的内容模态 |
| 对话陪伴类 | AI 聊天、虚拟角色、情感交互 | 输入和输出策略均仅包含文本模态。 |
| 效能助手类 | AI 问答、AI 搜索、工作辅助 | 输入策略包含文本和图片模态;输出策略仅包含文本模态。 |
| 视觉生成类 | 文生图、图生图 | 输入策略包含文本和图片模态;输出策略仅包含图片模态。 |
注意:说明:
策略配置的操作步骤如下:
1. 在 应用管理 页面单击 “新建策略”,进入策略创建流程:
2. 定义策略 Biztype 等信息并选择适配你业务的模板,完成初始化配置:
① 按业务概念填写 Biztype 、Biztype 名称与场景等信息(建议使用与业务相关的命名,便于你后续的识别与管理)② 选择和你业务最匹配的行业策略模板,即可直接复用以快速完成初始化配置;若无匹配的行业模板,可选择"通用"模板。
注意:说明:
二、线上数据验证
策略配置完成后,建议通过调用接口试跑一批数据,观察该策略下的风险分布。可在 识别统计 页面查看数据分布:
注意:说明:
同时,可在审核明细页面查看具体命中的案例,据此调整策略中的标签开关:
·若某类标签频繁拦截了不希望拦截的内容,可考虑在策略中关闭该标签。
·若某类风险内容未被拦截,可检查标签体系中是否包含对应标签,如有则在策略中开启。
注意:说明:
三、标签策略调优
基于线上数据分析确定需要调整的标签后,按以下路径调整:应用管理 → 对应 Biztype → 策略配置,修改标签开关后保存。
1. 在 应用管理 页面找到目标策略(Biztype),单击“策略配置”进入配置页面:
2. 依据线上数据验证的分析结果,开启或关闭对应的标签,示例如下:
3. 如需一些定制化的控制,可添加 关键词名单 或 图库名单 来实现,其中关键词名单相关操作概念可参见文档 操作指南 > 关键词名单。