大数据智能体工作台 DataBuddy Notebook 任务

Notebook 任务用于在 Workflow 中调度运行 Studio 中开发好的 .ipynb 文件。Notebook 任务支持引用 Studio 工作空间或 Git 文件夹中的 Notebook,运行在用户选择的计算资源上。

相关产品
大数据智能体工作台 DataBuddy 产品页,含版本规格、价格与购买入口。

一、概述

Notebook 任务是 DataBuddy 中最常用的任务类型,覆盖 ETL、机器学习训练、特征工程等场景。这篇档专注 Notebook 任务的差异化配置,通用配置 (任务名称、上游依赖、运行条件、参数、监控指标、告警、失败与超时策略)请参考 任务通用配置。

二、前提条件

·工作空间已绑定可用的计算资源(支持 CPU / GPU 计算类型,分布式、单节点资源模式)。详见 计算资源概述。

·Studio 中已存在目标 Notebook 文件,且当前用户(或 Run As 账号)具备文件的「运行」权限及以上。详见 文件权限。

·如使用 Git 引用,工作空间已配置 Git 连接。详见 设置 Git 连接。

四、步骤 1:创建任务

1. 在工作流编辑器画布中单击 + 添加任务 。

2. 任务类型选择 Notebook 。

3. 进入任务配置面板。

五、步骤 2:配置基本信息

参数 说明 是否必填
任务名称 同工作流内唯一。 是
任务类型 Notebook。可在下拉中切换为其他任务类型(Python File / SQL / Ray / 离线数据接入等),切换后参数区会清空。 是
任务来源 工作空间 / Git。 是
路径 引用的 Notebook 文件路径。 是

七、任务来源:工作空间

1. 单击「路径」输入框,弹出文件选择器:

·工作空间 :按目录浏览,仅展示文件夹与 .ipynb 文件。

·最近打开 :列出当前用户最近 90 天内浏览过的 Notebook(按时间倒序)。

1. 选中后路径填入输入框,例如 /Workspace/your_username/data_etl.ipynb。

2. 路径输入框右侧操作:

·跳转图标 :新开页面到 Studio 中打开文件。

·复制图标 :复制完整路径。

八、任务来源:Git

1. 选择 Git 后下拉显示当前工作空间已配置的 Git 分支。

2. 在「路径」输入框中填入相对路径(基于远程仓库根目录),例如 notebooks/etl/daily.ipynb。

3. 系统不在配置时刻校验路径是否存在;运行时若文件不存在会以错误码 Git路径无效 失败。

注意:说明:

注意:工作空间未配置 Git 时,「Git」选项置灰。单击「去配置」跳转到 设置 Git 连接 完成配置。

九、步骤 4:配置计算资源

参数 说明 是否必填 默认值
计算资源 下拉展示当前工作空间已绑定且可用的计算资源。 是 无(用户自行选择)
资源模式 分布式 / 单节点。 是 首次配置文件时该文件在 Studio 中的资源模式;从 Git 引用时默认「分布式」
资源配置 默认配置 / 自定义配置。 是 默认配置

十、资源模式:分布式(CPU / GPU)

配置项 说明 默认值
Executor 资源 small (1CU) / medium (2CU) / large (4CU) / xlarge (8CU) 跟随计算资源默认值
Executor 个数 动态分配(最小–最大)/ 固定分配(具体数量) 计算资源默认值
Driver 资源 同 Executor 规格选项 计算资源默认值
Executor GPU 数 仅 GPU 类型计算资源展示。支持小数。 计算资源默认值
Driver GPU 数 仅 GPU 类型计算资源展示。支持小数。 计算资源默认值

注意:自定义配置的资源总量(Executor 资源 × 个数 + Driver 资源)不能超过计算资源最大可用配额。超出时确认按钮置灰,并提示「超出当前计算资源最大可用数({计算资源最大 CU/GPU})」。

十一、资源模式:单节点

配置项 说明
资源规格 下拉选择,默认 large(4CU)。仅显示不超过计算资源最大规格的选项。
GPU 配置 仅 GPU 类型计算资源展示。支持小数。

十二、自定义配置 – JSON 模式

UI 模式与 JSON 模式可双向切换。JSON 内容遵循腾讯云 API 规范:仅可修改 Value,新增、修改 Key 会校验失败。

十三、步骤 5:上游依赖与运行条件

参考 任务通用配置 的「上游依赖任务」与「运行条件」。运行条件支持简单模式(12 种触发选项,覆盖「全部成功、全部失败、全部完成、至少一个成功、至少一个失败、没有失败且至少一个成功」等场景)和高级模式(按上游逐个配置状态集合,用 且 / 或 连接)。不满足运行条件的任务终态为「排除运行 」,错误码 ExecutionConditionsNotMet。

十四、步骤 6:参数

参考 任务参数配置。Notebook 任务在代码中获取参数:

value = dlcutils.widgets.get('your_param')

详见 辅助工具(DLCUtils、魔法命令)。

十五、步骤 7:监控指标、告警、失败与超时策略

集中维护,本任务直接使用:

能力 中心文档
监控指标 / 告警 工作流与任务的告警
失败与超时策略 任务通用配置 的「失败与超时策略」

十六、步骤 8:保存

单击 创建任务 (新建场景)或 保存任务 (编辑场景)。

十八、路径示例

来源 示例
工作空间 /Workspace/your_username/data_etl.ipynb
工作空间(Git Folder) /GitFolder/your_username/etl.ipynb
Git 远程仓库 notebooks/etl/daily.ipynb

十九、任务运行说明

·使用 Serverless 资源组的任务,会在运行前自动安装 Notebook 文件中的环境配置(基础环境 + pip install 安装的依赖),无需在任务运行时单独安装。

·调度运行使用「文件最新代码、任务最新配置」。如运行过程中文件被修改,下次运行使用新代码。

20、使用限制

·计算资源由用户在任务配置时选择,需具备运行权限。

·引用文件被移动、删除会导致任务运行失败,错误码 xxx 路径文件不存在。

·Git 路径不在配置时刻校验,存在路径错误风险;建议保存后立即调试运行验证。

·自定义资源配置不能超过所选计算资源的最大配额。

21、常见问题

Q1:Notebook 任务可以使用哪些计算资源?
Notebook 任务在配置时可下拉选择当前工作空间已绑定的计算资源;下拉列表展示资源名称、配额、可用配额。具体支持的资源类型与配额管理详见 计算资源概述。

Q2:从 Git 引用 Notebook 时,每次运行都要拉取最新代码吗?
是的。Notebook 任务每次运行(含调度运行和调试运行)都会从远程 Git 仓库获取最新代码。

·调试运行:使用当前运行人的 Git 配置。

·调度运行:使用任务 Run As 账号的 Git 配置。

Q3:参数值可以引用上游 SQL 任务的 output 行吗?
可以。在任务参数中写:

parameter = {{tasks.<上游 SQL 任务名>.output.first_row.<列名>}}

详见 参数传递。

22、相关文档

·Notebook 运行

·辅助工具(DLCUtils、魔法命令)

·参数传递

·工作流与任务的告警

·计算资源概述

赞 (0)
上一篇 5天前
下一篇 5天前