数据开发治理平台 WeData 归并节点

归并节点是 WeData 数据开发提供的逻辑控制节点。归并节点可以对上游任务实例的状态进行逻辑判断,设置归并节点成功的归并条件。主要用于解决分支节点多个分支任务状态触发下游的问题。

相关产品
数据开发治理平台 WeData 产品页,含版本规格、价格与购买入口。

一、使用限制

注意:1. 归并节点最多支持设置50个归并条件。

注意:2. 归并节点暂时不支持跨项目的克隆。

注意:3. 归并节点不支持在调度设置中新增上游依赖的任务,只能在归并节点的详情页面配置上游依赖。

二、归并节点使用

进入 WeData 控制台的 项目管理,在项目列表中单击离线开发,进入数据开发模块后,切换到离线开发 > 编排空间界面。

1. 在编排空间左上角新建工作流。

2. 双击工作流,在通用下面单击分支节点创建归并节点。

3. 在新建归并节点任务的对话框中输入任务名称,单击确认创建任务,进入归并节点配置界面。

4. 归并节点配置。单击归并节点的上游任务下面的添加按钮,添加归并条件。

参数名称 参数说明
上游任务 归并节点需要判断的上游任务。选择限制:注意:不支持重复选择已经选过的上游任务。不支持选择归并节点的直接下游和间接下游任务。不支持选择分支节点
运行条件 归并节点设置成功时需要判断上游任务实例的最终状态。默认为:成功或分支未运行。成功:上游任务实例运行成功。分支未运行:上游任务实例不满足分支节点条件,跳过运行。失败:上游任务实例运行失败。
运行条件之间的关系 多个上游任务运行状态条件之间的关系,默认为或,可以设置为且。

例如,设置上游任务 branch_shell_01、branch_shell_02、branch_shell_03 中有一个任务实例运行到终态,并且为成功状态时,将当前归并节点设置为成功状态。

5. 在归并节点下游可以配置其他任务,从而归并成功以后触发下游。

6. 单击工作流工具栏上的提交,选中当前工作流中的任务进行提交,在周期调度中可查看实例的状态。

三、配置示例:周期工作流

1. 基于 分支节点配置示例 中的工作流 DataFlow_Control_Node 继续配置。

2. 在工作流 DataFlow_Control_Node 中创建归并节点:merge_node。

3. 归并节点的上游任务分别选择:branch_shell_01、branch_shell_02、branch_shell_03,运行的条件选择默认值:成功、分支未运行。多个上游任务条件之间的关系设置为或。配置完成后保存任务。

4. 为了方便测试,在下游配置一个 shell 任务节点,依赖于 merge_node。

最终配置完成的效果如下:

5. 工作流测试运行。

单击工作流工具栏的工作流测试运行,测试整个工作流。归并节点运行完成以后,查看归并节点的运行日志。归并节点判断上游任务的状态符合条件,归并节点设置为成功。

6. 提交工作流到调度。

单击工作流工具栏上的提交,选中当前工作流中新增的归并节点和下游节点任务进行提交,在周期调度中可查看实例的状态。

赞 (0)
上一篇 4天前
下一篇 4天前