腾讯云智能体开发平台 调优准则

调优准则是作用于当前应用的、用自然语言描述的可复用行为要求,用于指导应用如何回答问题或执行任务,适用于 Claw 模式应用。调优准则基于 ALHF(Agent Learning from Human Feedback,基于人类反馈的智能体学习)机制,系统可以将评测和调试中的反馈转化为调优准则。你也可以手动添加业务规范或回答要求。启用后,应用会参考准则处理后续的同类问题,帮助提升回答和任务执行的质量与一致性。

相关产品
腾讯云智能体开发平台 产品页,含版本规格、价格与购买入口。

一、功能概述

注意:例如,针对“回答合同问题时缺少依据”的反馈,可以生成以下准则:

注意:回答合同问题时,注明合同编号及引用条款;未找到相关条款时,明确说明未找到依据,不编造条款内容。

二、准则来源

你可以根据实际场景,选择以下方式添加准则。

来源 说明与适用场景 操作指引
评测驱动 根据已完成的评测结果和标注生成准则,适合针对评测中发现的问题进行优化。 请参见 从应用评测生成准则。
调试反馈 根据调试中的问题、回答和期望效果生成准则,适合针对某次回答补充要求。 请参见 从调试反馈生成准则。
人工输入 直接用自然语言添加准则,适合已有明确业务规范或回答要求的场景。 请参见 手动添加准则。

注意:说明:

注意:由评测驱动、调试反馈自动生成的准则,会先进入待启用列表,需你审核并手动启用后,才会作用于应用;人工录入的准则,点击保存并启用即可直接生效。

三、前提条件

·已创建 Claw 模式应用。

·如需从评测结果生成准则,评测任务的评测和标注均已完成。

·生成准则需要选择生成准则模型,调用模型会产生 Token 费用。

登录 腾讯云智能体开发平台控制台 ,在应用开发中进入目标应用后,按以下步骤操作。

四、从应用评测生成准则

系统根据评测结果和标注生成调优准则。你可以从以下任一入口选择评测任务,两种入口后续的配置步骤相同。

五、步骤一 选择评测任务

入口一:应用评测页面

1. 单击应用评测 > 评测任务。

2. 在已完成评测和标注的任务右侧,单击生成准则。

注意:说明:

注意:未完成评测和标注的任务,其生成准则操作不可用。可单击窗口上方的查看评测任务,前往评测任务页面完成相关操作。

入口二:调优准则页面

1. 在目标应用中,单击应用运营 > 调优准则。

2. 单击添加准则 > 评测驱动生成。

3. 在选择生成准则的评测任务窗口中,找到目标任务,单击操作列的生成准则。可通过任务名称搜索或刷新列表。

六、步骤二 配置并提交生成任务

1. 在新建生成准则任务窗口中,完成以下配置。

字段 填写说明
名称 必填,最多 20 个字符。用于识别本次生成任务,不是准则正文。
生成准则模型 必填,选择用于生成准则的模型。
评测任务名称 系统自动带入,不可修改。请确认是本次需要使用的评测任务。

2. 单击生成准则。系统开始调用所选模型,产生 Token 费用,并显示准则生成中通知。

3. 单击通知中的查看,查看生成进度。也可以前往应用运营 > 调优准则,单击准则生成任务查看。

七、步骤三 检查并启用准则

任务完成后,进入应用运营 > 调优准则的待启用列表,检查生成的内容。需要调整时,先单击编辑;确认后单击启用。如需启用多条准则,可勾选后单击批量启用。

八、从调试反馈生成准则

调试时,如果某次回答不符合预期,可以通过回答下方的优化应用入口,描述希望应用如何回答或执行任务。系统结合本次对话和你填写的要求生成准则。

1. 在目标应用的应用设置页面进行调试。找到需要优化的回答,单击回答下方的优化应用图标。

2. 在优化应用窗口中,查看本次问题和回答,填写期望效果,并选择生成准则模型。

·期望效果:必填,最多可输入 1000 个字符。请描述希望应用遵守的要求,例如“回答合同问题时,必须注明合同编号及引用条款”。

·生成准则模型:必填,选择用于生成准则的模型。

3. 单击生成准则。生成准则将调用所选模型并产生 Token 费用。

4. 生成完成后,页面显示准则生成完成通知,可查看本次生成的候选准则数量。单击通知中的查看,前往应用运营 > 调优准则。

5. 在待启用列表中查看生成的准则,来源显示为调试反馈。检查内容后,单击启用;如需修改内容,可单击编辑。如需查看生成任务的进度和结果,可单击页面右上方的准则生成任务。

九、手动添加准则

如果已经明确应用应遵守的要求,可以直接手动添加,无需先进行评测或调试。

1. 在目标应用中,单击应用运营 > 调优准则。

2. 单击添加准则 > 手动添加。

3. 在新增准则窗口中输入准则内容,最多可输入 1000 个字符,然后单击保存并启用。

4. 在已启用列表中查看新增的准则。该准则的来源显示为人工输入。

十、管理调优准则

在应用运营 > 调优准则页面,管理准则的内容和使用状态。可以搜索准则、刷新列表,也可以勾选多条准则后使用对应的批量操作。

十一、准则状态

·待启用:系统已生成,尚未启用,不用于指导应用的回答和任务执行。

·已启用:已启用的准则,用于指导应用后续的回答和任务执行。

·已停用:保留准则内容,不再用于指导应用后续的回答和任务执行。

十二、管理操作

·启用准则:在待启用列表中检查内容,确认后单击启用。如需启用多条,可勾选后单击批量启用。

·编辑准则:在待启用或已启用列表中,单击准则右侧的编辑,调整内容。

·停用准则:在已启用列表中,对不再需要的准则单击停用。停用后可在已停用列表查看。

注意:说明:

注意:建议启用前检查准则是否清晰、适用范围是否明确,以及是否与现有要求冲突。启用后,可通过调试或再次评测验证应用表现是否符合预期。

十三、查看准则生成任务

准则生成任务用于查看生成进度和结果;待启用、已启用和已停用列表用于管理准则本身。任务完成不代表准则已启用。

1. 在应用运营 > 调优准则页面,单击准则生成任务,查看每次生成的任务名称、来源、状态和生成数量。生成数量表示本次生成的准则条数。

2. 单击任务操作列的查看,打开任务详情。可查看任务名称、Token 消耗、来源、来源名称、生成模型、状态、发起时间和完成时间。详情顶部提供再次生成和删除入口。

3. 生成的准则可在待启用列表中查看,检查并启用后进入已启用列表。

注意:说明:

注意:任务状态为已完成、但生成数量为 0 时,表示本次任务已结束但没有产出准则,不会在待启用列表新增准则。可单击任务操作列的查看,查看任务详情。

十四、如何写清楚调优要求

填写期望效果或手动添加准则时,建议说明“在什么情况下,应用应该怎么做”,避免只写“不满意”“回答不准确”等评价。

·说明适用场景:例如“回答合同问题时”,避免将特定场景的要求用于所有回答。

·描述具体做法:例如“注明合同编号及引用条款”,比“回答更专业”更明确。

·尽量聚焦一项要求:不同场景的要求可以分别添加,方便后续检查和维护。

赞 (0)
上一篇 4天前
下一篇 4天前