一、功能概述
注意:例如,针对“回答合同问题时缺少依据”的反馈,可以生成以下准则:
注意:回答合同问题时,注明合同编号及引用条款;未找到相关条款时,明确说明未找到依据,不编造条款内容。
二、准则来源
你可以根据实际场景,选择以下方式添加准则。
| 来源 | 说明与适用场景 | 操作指引 |
| 评测驱动 | 根据已完成的评测结果和标注生成准则,适合针对评测中发现的问题进行优化。 | 请参见 从应用评测生成准则。 |
| 调试反馈 | 根据调试中的问题、回答和期望效果生成准则,适合针对某次回答补充要求。 | 请参见 从调试反馈生成准则。 |
| 人工输入 | 直接用自然语言添加准则,适合已有明确业务规范或回答要求的场景。 | 请参见 手动添加准则。 |
注意:说明:
注意:由评测驱动、调试反馈自动生成的准则,会先进入待启用列表,需你审核并手动启用后,才会作用于应用;人工录入的准则,点击保存并启用即可直接生效。
三、前提条件
·已创建 Claw 模式应用。
·如需从评测结果生成准则,评测任务的评测和标注均已完成。
·生成准则需要选择生成准则模型,调用模型会产生 Token 费用。
登录 腾讯云智能体开发平台控制台 ,在应用开发中进入目标应用后,按以下步骤操作。
四、从应用评测生成准则
系统根据评测结果和标注生成调优准则。你可以从以下任一入口选择评测任务,两种入口后续的配置步骤相同。
五、步骤一 选择评测任务
入口一:应用评测页面
1. 单击应用评测 > 评测任务。
2. 在已完成评测和标注的任务右侧,单击生成准则。
注意:说明:
注意:未完成评测和标注的任务,其生成准则操作不可用。可单击窗口上方的查看评测任务,前往评测任务页面完成相关操作。
入口二:调优准则页面
1. 在目标应用中,单击应用运营 > 调优准则。
2. 单击添加准则 > 评测驱动生成。
3. 在选择生成准则的评测任务窗口中,找到目标任务,单击操作列的生成准则。可通过任务名称搜索或刷新列表。
六、步骤二 配置并提交生成任务
1. 在新建生成准则任务窗口中,完成以下配置。
| 字段 | 填写说明 |
| 名称 | 必填,最多 20 个字符。用于识别本次生成任务,不是准则正文。 |
| 生成准则模型 | 必填,选择用于生成准则的模型。 |
| 评测任务名称 | 系统自动带入,不可修改。请确认是本次需要使用的评测任务。 |
2. 单击生成准则。系统开始调用所选模型,产生 Token 费用,并显示准则生成中通知。
3. 单击通知中的查看,查看生成进度。也可以前往应用运营 > 调优准则,单击准则生成任务查看。
七、步骤三 检查并启用准则
任务完成后,进入应用运营 > 调优准则的待启用列表,检查生成的内容。需要调整时,先单击编辑;确认后单击启用。如需启用多条准则,可勾选后单击批量启用。
八、从调试反馈生成准则
调试时,如果某次回答不符合预期,可以通过回答下方的优化应用入口,描述希望应用如何回答或执行任务。系统结合本次对话和你填写的要求生成准则。
1. 在目标应用的应用设置页面进行调试。找到需要优化的回答,单击回答下方的优化应用图标。
2. 在优化应用窗口中,查看本次问题和回答,填写期望效果,并选择生成准则模型。
·期望效果:必填,最多可输入 1000 个字符。请描述希望应用遵守的要求,例如“回答合同问题时,必须注明合同编号及引用条款”。
·生成准则模型:必填,选择用于生成准则的模型。
3. 单击生成准则。生成准则将调用所选模型并产生 Token 费用。
4. 生成完成后,页面显示准则生成完成通知,可查看本次生成的候选准则数量。单击通知中的查看,前往应用运营 > 调优准则。
5. 在待启用列表中查看生成的准则,来源显示为调试反馈。检查内容后,单击启用;如需修改内容,可单击编辑。如需查看生成任务的进度和结果,可单击页面右上方的准则生成任务。
九、手动添加准则
如果已经明确应用应遵守的要求,可以直接手动添加,无需先进行评测或调试。
1. 在目标应用中,单击应用运营 > 调优准则。
2. 单击添加准则 > 手动添加。
3. 在新增准则窗口中输入准则内容,最多可输入 1000 个字符,然后单击保存并启用。
4. 在已启用列表中查看新增的准则。该准则的来源显示为人工输入。
十、管理调优准则
在应用运营 > 调优准则页面,管理准则的内容和使用状态。可以搜索准则、刷新列表,也可以勾选多条准则后使用对应的批量操作。
十一、准则状态
·待启用:系统已生成,尚未启用,不用于指导应用的回答和任务执行。
·已启用:已启用的准则,用于指导应用后续的回答和任务执行。
·已停用:保留准则内容,不再用于指导应用后续的回答和任务执行。
十二、管理操作
·启用准则:在待启用列表中检查内容,确认后单击启用。如需启用多条,可勾选后单击批量启用。
·编辑准则:在待启用或已启用列表中,单击准则右侧的编辑,调整内容。
·停用准则:在已启用列表中,对不再需要的准则单击停用。停用后可在已停用列表查看。
注意:说明:
注意:建议启用前检查准则是否清晰、适用范围是否明确,以及是否与现有要求冲突。启用后,可通过调试或再次评测验证应用表现是否符合预期。
十三、查看准则生成任务
准则生成任务用于查看生成进度和结果;待启用、已启用和已停用列表用于管理准则本身。任务完成不代表准则已启用。
1. 在应用运营 > 调优准则页面,单击准则生成任务,查看每次生成的任务名称、来源、状态和生成数量。生成数量表示本次生成的准则条数。
2. 单击任务操作列的查看,打开任务详情。可查看任务名称、Token 消耗、来源、来源名称、生成模型、状态、发起时间和完成时间。详情顶部提供再次生成和删除入口。
3. 生成的准则可在待启用列表中查看,检查并启用后进入已启用列表。
注意:说明:
注意:任务状态为已完成、但生成数量为 0 时,表示本次任务已结束但没有产出准则,不会在待启用列表新增准则。可单击任务操作列的查看,查看任务详情。
十四、如何写清楚调优要求
填写期望效果或手动添加准则时,建议说明“在什么情况下,应用应该怎么做”,避免只写“不满意”“回答不准确”等评价。
·说明适用场景:例如“回答合同问题时”,避免将特定场景的要求用于所有回答。
·描述具体做法:例如“注明合同编号及引用条款”,比“回答更专业”更明确。
·尽量聚焦一项要求:不同场景的要求可以分别添加,方便后续检查和维护。