云原生智能网关 Playground

在 Playground 中可对已创建的模型 API 进行在线调试,支持单 API 调试与多 API 对比调试,实时展示每次请求实际命中的模型以及 TTFT、TPS、Token、成本等指标,帮助你验证模型 API 的配置与连通性,并对比不同 API 的表现。

相关产品
云原生智能网关 产品页,含版本规格、价格与购买入口。

一、前提条件

·已创建模型 API。

·已创建消费者(调试时需选择调用身份),且该消费者有权限调用该模型 API。

二、步骤1:进入 Playground

1. 登录 微服务平台控制台,左侧导航栏选择 AI 网关 > 实例管理,进入实例列表。

2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面。

3. 在左侧导航栏,单击 Playground > API 调试 > 单 API 调试。

4. 在调试 API 下拉框中手动选择要调试的 API。

注意:Playground 中的所有调用均为真实请求,将消耗该 API 对应消费者的 Token 配额。

三、步骤2:配置必选项

配置项 是否必填 说明
调试 API 是 下拉选择要调试的模型 API。
消费者 是 下拉选择调用身份。
模型名称 当检测到所选 API 下存在透传类型模型服务时必填 网关将直接使用该 model_name 参数发起调用,请确保输入正确的模型名称。

四、步骤3:配置参数

参数 说明 默认值
System Prompt 系统提示词,预设模型人设与行为边界 –
Max Tokens 限制模型输出上限,256 ~ 4096 2048
Top-P 按概率质量动态筛选候选词,0 ~ 1 0.9
Temperature 调节采样随机性,0 ~ 2 0.7
流式输出 边生成边返回 开
轮数上限 控制上下文记忆深度,1 ~ 20(建议设置1 ~ 5) 5

五、步骤4:发送消息并查看结果

1. 在输入框输入消息(Shift+Enter 换行),单击发送。

2. 消息流展示用户消息与助手回复。

3. 查看指标卡:每次响应完成后自动刷新。

六、步骤5:管理对话

·新建对话:重置消息与累计指标。

·保存为报告:将调试结果保存为报告。

七、步骤1:进入 Playground

1. 登录微服务平台控制台,左侧导航栏选择 AI 网关 – 实例管理,进入实例列表。

2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面。

3. 在左侧导航栏,单击 Playground > API 调试 > 多 API 对比。

4. 多 API 对比调试支持最多3个模型 API 同时调试,分别手动选择要调试的 API 即可。

八、步骤2:配置必选项

配置项 是否必填 说明
调试 API 是 下拉选择要调试的模型 API。
消费者 是 下拉选择调用身份。
模型名称 当检测到所选 API 下存在透传类型模型服务时必填 网关将直接使用该 model_name 参数发起调用,请确保输入正确的模型名称。

九、步骤3:配置参数

可勾选“参数同步”复选框,勾选后所有 API 共用一套参数进行调试,如有需要也可分别调参。

参数 说明 默认值
System Prompt 系统提示词,预设模型人设与行为边界 –
Max Tokens 限制模型输出上限,256 ~ 4096 2048
Top-P 按概率质量动态筛选候选词,0 ~ 1 0.9
Temperature 调节采样随机性,0 ~ 2 0.7
流式输出 边生成边返回 开
轮数上限 控制上下文记忆深度,1 ~ 20(建议设置1 ~ 5) 5

十、步骤4:发送消息并查看结果

1. 在输入框输入消息(Shift + Enter 换行),单击发送。

2. 消息流展示用户消息与助手回复。

3. 查看指标卡:每次响应完成后自动刷新。

十一、步骤5:管理对话

·新建对话:重置消息与累计指标。

·保存为报告:将调试结果保存为报告。

十二、查看报告

1. 登录微服务平台控制台,左侧导航栏选择 AI 网关 > 实例管理,进入实例列表。

2. 在实例列表页面,单击需要配置的网关实例的“ID”,进入该网关实例的基本信息页面。

3. 在左侧导航栏,单击 Playground > 测试报告,即可在报告列表查看调试时已保存的报告详情。

赞 (0)
上一篇 4天前
下一篇 4天前