大数据智能体工作台 DataBuddy 离线数据接入任务

离线数据接入任务用于在 Workflow 中调度运行数据接入模块的离线同步任务。任务通过引用接入任务 ID 的方式建立联动,所有接入配置仍在 数据接入 模块中维护。

相关产品
大数据智能体工作台 DataBuddy 产品页,含版本规格、价格与购买入口。

一、概述

离线数据接入任务的特点:

·不再嵌入接入配置 :仅作为「引用执行入口」,详细的同步配置(源端、目标端、字段映射、同步模式)在数据接入模块完成。

·使用数据接入型计算资源 :与 Notebook、SQL 任务的资源类型不同。

·运行详情显示接入结果 :任务运行详情页直接展示数据接入运行的进度、行数、失败原因。

通用配置(任务名称、上游依赖、运行条件、参数、监控指标、告警、失败与超时策略)请参考 任务通用配置。

二、前提条件

·数据接入模块已创建并保存目标的离线同步任务。详见 离线数据同步 系列文档。

·工作空间已绑定 数据接入型 计算资源。详见 计算资源概述。

三、步骤 1:创建任务

1. 在工作流画布单击 + 添加任务 。

2. 任务类型选择 离线数据接入 。

四、步骤 2:配置基本信息

参数 说明 是否必填
任务名称 同工作流内唯一。 是
任务类型 离线数据接入(不可改)。 是
任务来源 单击下拉选择数据接入模块中的离线同步任务。 是

五、步骤 3:选择接入任务

1. 单击「任务来源」下拉,列表展示当前工作空间内的离线接入任务。

2. 支持模糊搜索与精确搜索。

3. 选中后任务名称展示在配置面板,单击可跳转到接入任务的执行页查看详情。

六、步骤 4:配置计算资源

参数 说明
计算资源 仅展示 数据接入型 计算资源。下拉选择即可。

七、步骤 5:上游依赖、参数、监控指标、告警

参考 任务通用配置。

八、参数处理特殊说明

参数处理方式与 SQL 任务一致:在任务上配置参数 Key-Value,运行时替换到接入任务执行命令中。详见 任务参数配置。

九、监控指标

支持运行时长、等待时长、完成时间三类指标。详见 工作流与任务的告警。

十、步骤 6:失败与超时策略

参考 任务通用配置。

十一、步骤 7:保存

单击 创建任务 或 保存任务 。

十二、任务运行详情

离线数据接入任务的运行详情页:

Tab 说明
运行结果 数据接入任务的运行进度与执行情况,与数据接入模块中查看一致。
运行日志 同上。

详细字段说明请参考数据接入模块文档:离线同步任务运维监控。

十三、使用限制

·仅支持引用 离线 数据接入任务,不支持实时数据接入任务。

·计算资源类型必须为数据接入型。

·接入任务被删除后,工作流任务运行直接失败。

·任务来源选定后,详细的同步配置(源端、目标端、映射等)只能在数据接入模块编辑。

十四、常见问题

Q1:实时数据接入也能在 Workflow 中编排吗?
不支持。实时数据接入任务自带常驻调度,不通过 Workflow 触发。建议在数据接入模块中维护实时任务,参考 实时数据同步 系列文档。

Q2:上游 Notebook 任务能传递参数到离线数据接入任务吗?
可以。参数传递规则与其他任务一致:

target_dt = {{tasks.<上游 Notebook 任务名>.values.target_dt}}

详见 参数传递。

Q3:接入任务运行失败后能在 Workflow 中重跑吗?
可以。在工作流运行详情页选中任务节点单击 重跑 即可,重跑会触发新的接入任务执行。详见 工作流与任务的运维操作。

十五、相关文档

·表到表同步

·离线同步任务运维监控

·计算资源概述

赞 (0)
上一篇 4天前
下一篇 4天前