一、前提条件
·已创建实验且实验下至少存在 1 个运行任务(参见 记录训练指标)。
·当前账号在目标实验上拥有读取及以上权限。
注意:智能体实验暂不支持实验对比。
二、对比不同实验
当你在多个同类型实验之间进行横向比较时。可在实验列表页进行跨实验对比。
1. 登录 DataBuddy 控制台,在左侧导航栏选择数据科学 > 模型实验 。
2. 在实验列表中通过左侧复选框选中两个或更多同类型实验。
3. 点击列表上方出现的对比实验 ,进入跨实验对比窗口。
注意:跨实验对比主要用于宏观比较不同方案的最终效果,如需细粒度对比各运行任务之间的差异,请进入单个实验内进行运行任务对比。
三、对比同一实验下的不同运行任务
同一实验内通常包含多个运行任务(不同的超参组合、不同的训练数据等)。进入实验详情后,你可以通过表格视图、图表视图查看各运行任务表现,并选中多个运行任务进行逐项对比。
四、1.进入实验详情
1. 登录 DataBuddy 控制台,在左侧导航栏选择 数据科学 > 模型实验 。
2. 在实验列表中点击目标实验名称,进入实验详情。
五、2. 查看运行任务与模型
进入实验详情后,通过列表上方的视图切换器选择查看方式:
·运行任务视图(默认) :以运行任务为单位展示所有训练记录。
·表格模式 :展示运行任务基础信息。
·可按照创建时间选择正序、倒序对运行任务进行排序。
·列表上方搜索框支持按照运行任务名称、运行任务 id 进行搜索。
·图表模式 :单击视图切换器切换为图表,以柱状图形式对比各运行任务的指标。支持搜索图表指标、隐藏、显示指定运行任务、下载指标图片等操作。
·模型视图 :单击切换器切换到模型视图,查看该实验下已注册到 Catalog 的模型版本。
·表格模式 :展示模型基础信息。操作列提供将模型注册到 Catalog 和删除模型两项操作。
·图表模式 :同运行任务图表模式,你可以搜索指标、直观的对比各模型版本的评估指标,便于直观判断不同版本的表现差异。
六、3. 多选对比
在运行任务表格视图中通过左侧复选框选中两个或更多运行任务,点击上方对比任务 按钮后进入对比页面。任务对比页面提供两种对比模式(通过顶部 Tab 切换):
·数值对比 :将所选运行任务横向并排展示,逐项对照,提供 仅看差异项 开关。开启后只显示在所选运行任务之间存在差异的字段,便于聚焦关键差别。
·图表对比 :可选不同参数配置、图表类型(平行坐标系、散点图、箱线图等),对结果进行可视化对比。
七、4. 选定最佳运行
实验详情会基于评估指标自动识别最佳运行,置顶显示在实验面板上。
八、Q:表格视图中找不到我刚训练完的运行任务?
请检查:
·是否在正确的实验下查看(左上角面包屑确认实验名称)。
·运行任务是否成功结束(在概览中查看运行任务状态)。
·是否被筛选条件过滤掉(清空筛选条件再查看)。
九、Q:图表视图中显示的运行任务数量比实际少?
当运行任务数量超过 10 个时,图表视图默认只展示前 10 条,其他运行任务自动隐藏。在指标列表中手动展开隐藏项即可全部查看。
十、Q:对比窗口中无法滚动到底部怎么办?
当对比指标过多时,对比窗口可能存在滚动条不易触达的问题,建议先通过差异项勾选减少展示行数,再进行对比。
十一、Q:模型视图为空,但运行任务视图中明明有产出模型?
模型视图仅展示已经绑定实验的模型。如果运行任务生成的模型来源为空或仅为 Notebook(未绑定到实验),它们不会出现在模型视图。请在 log_model 时确认 experiment_id 设置正确。
十二、相关文档
·什么是模型实验
·创建实验
·记录训练指标