大数据智能体工作台 DataBuddy 工作流概述

工作流(Workflow)是 Workflow 模块中负责编排与调度的最小独立单元。一个工作流由若干个 任务节点 与节点之间的 依赖关系 组成,描述「什么任务在什么条件下执行」。

相关产品
大数据智能体工作台 DataBuddy 产品页,含版本规格、价格与购买入口。

一、概述

工作流的核心能力:

·承接 Studio :Studio 完成开发与调试,Workflow 完成发布、调度与运维。

·统一编排 :所有任务类型(Notebook / SQL / Python File / Ray / 离线数据接入 / IF ELSE / For Each / 嵌套工作流、质量监控)在同一画布上编排。

·完整运维链路 :覆盖运行记录、运行详情(图模式、列表模式、甘特图)、智能诊断、告警与通知。

二、核心概念

概念 说明
工作流(Workflow) 一组通过依赖关系连接起来的任务集合,是调度的最小单元。
任务(Task) 工作流中的执行单元,对应一段代码(Notebook / SQL / Python)或一个内置节点(IF ELSE / For Each / 嵌套)。
工作流运行(Workflow Run) 一次工作流执行的实例,记录开始时间、结束时间、状态、参数等运行时信息。
任务运行(Task Run) 一次任务执行的实例,归属于某个工作流运行。
调度触发器(Trigger) 工作流的执行入口:定时 / Cron / 文件到达 / 持续运行 / 手动触发。

三、前提条件

·已加入工作空间,且具备 Workflow 模块访问权限。

·工作空间已绑定计算资源;任务运行依赖对应的资源组。

四、工作流状态

状态 说明
等待中 所有任务都处于等待状态。
运行中 至少一个任务在运行。
成功 所有任务都成功或被排除运行。
失败 所有任务到达终态,且至少一个失败。
跳过运行 所有任务被跳过(并发限制)。
终止中 工作流正在终止。

五、任务状态

状态 说明
等待工作流并发 工作流并发达上限,等待其他工作流释放。
等待上游 上游任务未到达终态。
等待任务并发 项目级任务并发上限达 2000。
等待资源 等待调度 / 引擎资源。
运行中 任务执行中。
终止中 任务正在终止。
失败重试 任务等待失败后重试。
跳过运行 因并发限制跳过。
成功 任务运行成功。
失败 任务运行失败。
上游失败 上游任务为失败状态导致下游失败。
排除运行 因不满足运行条件或上游条件分支被排除。

六、使用限制

·单工作空间最多 10000 个工作流;单工作流最多 1000 个任务节点。

·平台级最大并发任务数:2000(每个工作空间)。

七、相关文档

·调度与触发器

·其他配置

·工作流与任务的运行监控

·工作流与任务的运维操作

赞 (0)
上一篇 4天前
下一篇 4天前