大数据智能体工作台 DataBuddy 工作流与任务的运行监控

工作流与任务的运行监控用于查看历次运行的状态、时长、参数与异常情况,是运维过程中最高频的入口。这篇档覆盖工作流运行列表、工作流运行详情、任务运行详情三层视图。

相关产品
大数据智能体工作台 DataBuddy 产品页,含版本规格、价格与购买入口。

一、概述

DataBuddy 提供以下运行监控视图:

视图 入口 主要用途
工作流运行列表 工作流-工作流运行 全局视角查看所有工作流的运行情况
工作流详情页 – 运行记录 工作流-工作流 查看单工作流的运行历史与时长趋势
工作流运行详情 列表运行 ID/工作流运行甘特图跳转 查看单次运行的 DAG 图、列表、甘特图
任务运行详情 DAG 节点/列表名称/甘特图名称跳转 查看单次任务的运行结果、运行日志、任务洞察、Spark UI

二、前提条件

·已加入工作空间,且对目标工作流具备「查看」及以上权限。

·工作流已至少运行过一次。

四、步骤 1:查看工作流运行列表(全局)

1. 在左侧导航选择 工作流 > 工作流运行 ,进入运行列表页。

2. 顶部展示筛选框,支持同时对图和列表进行筛选。

3. 顶部图表展示:

·运行数量变化趋势图 :堆积图,按时间展示不同状态的运行数量。

·Top 5 错误码 :条形图,单击错误码可快速筛选当前列表。

1. 下方展示空间下有查看权限的运行实例列表。

五、筛选项

筛选项 说明
工作流名称 输入工作流名称,支持模糊搜索
开始时间/结束时间 时间选择器,精确到分钟,可选范围近 60 天,默认近 3 天
运行账号 根据运行账号筛选,支持多选

六、列表字段

字段 说明
工作流名称 单击跳转到工作流详情页
运行流 ID 单击跳转到运行详情页
开始时间 / 结束时间 格式 YYYY-MM-DD HH:MM:SS
运行状态 见下方「运行状态」
运行时长 格式 6m3s
触发方式 手动触发 / 调度触发 / 持续运行
错误码 失败时显示
运行参数 格式 name:sys;age:20
操作 重跑 / 终止 / 删除(详见 工作流与任务的运维操作)

注意:工作流运行列表数据仅保留 60 天。

七、步骤 2:查看运行记录(单工作流)

1. 打开目标工作流详情页。

2. 切换到 运行记录 Tab。

3. 顶部展示筛选框,支持同时对图和列表进行筛选。

4. 上方显示「运行时间变化趋势图」,下方显示运行实例列表。

八、筛选项

筛选项 说明
开始时间/结束时间 时间选择器,精确到分钟,可选范围近 60 天,默认近 3 天
运行账号 根据运行账号筛选,支持多选

九、列表字段

字段 说明
运行流 ID 单击跳转到运行详情页
开始时间 / 结束时间 格式 YYYY-MM-DD HH:MM:SS
运行状态 见下方「运行状态」
运行时长 格式 6m3s
触发方式 手动触发 / 调度触发 / 持续运行
错误码 失败时显示
运行参数 格式 name:sys;age:20
操作 重跑 / 终止 / 删除(详见 工作流与任务的运维操作)

注意:列表展示字段可根据需求勾选或取消勾选调整,默认展示所有字段,操作按钮在列表右上角。

十、步骤 3:查看工作流运行详情

工作流运行列表中单击 运行流 ID /工作流运行甘特图 跳转到运行详情页。运行详情提供 3 种视图:

十一、3.1 图模式(DAG)

DAG 图展示工作流下所有任务实例和上下游依赖关系。每个节点的颜色表示状态:

颜色 状态
绿色 成功
红色 失败 / 上游失败
蓝色 运行中
灰色 等待中 / 排除运行
黄色 失败重试
操作 说明
节点 hover 显示任务详细信息(运行 ID、运行账号、状态、时长、错误码等)
节点单击 跳转到任务运行详情页
工具栏 放大 / 缩小 / 重置缩放到 100% / 搜索 / 全屏 / 刷新

十二、3.2 列表模式

以表格形式显示当前运行下所有任务实例,支持按照任务名称搜索。列字段:

字段 说明
任务名称 单击跳转到任务运行详情
运行 ID 任务运行的唯一标识
任务类型 Notebook / SQL / Python / 离线接入 / IF ELSE / For Each / 嵌套工作流 / 数据质量
开始时间 / 结束时间 实际执行时间
运行状态 见下方「任务运行状态」
运行时长 格式 6m3s
触发方式 手动触发 / 调度触发 / 持续运行
重试次数 当前任务的重试次数
计算资源 实际使用的资源组
源文件路径 单击跳转到对应文件

十三、3.3 甘特图

横向时间轴展示每个任务的开始-结束区间:

颜色 状态
绿色 成功
红色 失败
灰色 排除运行

十四、3.4 运行信息(右侧侧栏)

区域 字段
基础信息 工作流 ID / 工作流运行 ID / 触发方式 / 状态 / 开始时间 / 结束时间 / 等待时长 / 运行时长
计算资源 工作流下任务关联的资源组
参数配置 本次运行的参数

十五、步骤 4:查看任务运行详情

工作流运行详情页 DAG 节点、列表名称、甘特图名称跳转到任务运行详情。任务详情页 Tab:

Tab 说明
运行结果 展示任务代码与结果
运行日志 错误码 + 错误信息 + 日志
任务洞察 累计 CPU 时、扫描数据大小、Shuffle、输出行数等
Spark UI 单击按钮跳转到 Spark UI

十六、运行日志区操作

操作 说明
刷新 选择刷新频率(如手动刷新、每 10 秒自动刷新)
自动换行 长行自动换行
搜索 搜索日志关键字,支持快速跳转到匹配的日志
下载日志 下载完整日志到本地

十七、任务运行详情公共信息(右侧侧栏)

区域 字段
基础信息 工作流 ID / 工作流运行 ID / 任务运行 ID /运行账号/ 触发方式 / 状态 / 开始时间 / 结束时间 / 等待时长 / 运行时长
文件 引用的文件路径,单击跳转到引用文件位置
计算资源 实际使用的资源组与配置
参数配置 本次任务的参数

十八、步骤 5:执行选择(同任务多次运行)

如同一任务在一次运行中执行了多次,任务运行详情页顶部支持选择查看任意一次执行:

·默认选中最新一次执行。

·按运行开始时间倒序排列。

20、工作流运行状态

状态 说明
等待中 所有任务都处于等待状态。
运行中 至少一个任务在运行。
成功 所有任务都成功或被排除运行。
失败 所有任务到达终态,且至少一个失败。
跳过运行 工作流整体因并发限制被跳过。
终止中 工作流正在终止。

21、任务运行状态

状态 说明 是否终态
等待工作流并发 工作流并发达上限,等待其他工作流释放 否
等待上游 上游任务未到达终态 否
等待任务并发 项目级任务并发上限达 2000 否
等待资源 等待调度 / 引擎资源 否
运行中 任务执行中 否
终止中 任务正在终止 否
失败重试 任务等待失败后重试 否
跳过运行 因并发限制跳过 是
成功 任务运行成功 是
失败 任务运行失败 是
上游失败 上游任务为失败状态导致下游失败 是
排除运行 因不满足运行条件或上游条件分支被排除 是

22、使用限制

·运行记录数据仅保留 60 天。

·列配置(展示哪些列、列顺序)会保留到下次进入。

·任务运行详情 Spark UI 通过新开浏览器 Tab 跳转。

23、常见问题

Q1:DAG 中某节点为灰色「排除运行」是什么意思?
该任务因上游条件节点的判断结果不满足,自动跳过执行。详见 IF ELSE 条件任务。

Q2:任务长时间停在「等待资源」怎么办?

·在任务运行详情页查看 任务的智能诊断,确认是排队、资源不足、配额超限还是其他原因。

·进入 计算资源概述 查看资源组负载。

Q3:日志查询过大不显示完整内容?
单击 下载日志 获取完整日志。

24、相关文档

·工作流与任务的运维操作

·工作流与任务的告警

·任务的智能诊断

·IF ELSE 条件任务

·计算资源概述

赞 (0)
上一篇 5天前
下一篇 5天前