一、概述
Notebook 任务是 DataBuddy 中最常用的任务类型,覆盖 ETL、机器学习训练、特征工程等场景。这篇档专注 Notebook 任务的差异化配置,通用配置 (任务名称、上游依赖、运行条件、参数、监控指标、告警、失败与超时策略)请参考 任务通用配置。
二、前提条件
·工作空间已绑定可用的计算资源(支持 CPU / GPU 计算类型,分布式、单节点资源模式)。详见 计算资源概述。
·Studio 中已存在目标 Notebook 文件,且当前用户(或 Run As 账号)具备文件的「运行」权限及以上。详见 文件权限。
·如使用 Git 引用,工作空间已配置 Git 连接。详见 设置 Git 连接。
四、步骤 1:创建任务
1. 在工作流编辑器画布中单击 + 添加任务 。
2. 任务类型选择 Notebook 。
3. 进入任务配置面板。
五、步骤 2:配置基本信息
| 参数 | 说明 | 是否必填 |
| 任务名称 | 同工作流内唯一。 | 是 |
| 任务类型 | Notebook。可在下拉中切换为其他任务类型(Python File / SQL / Ray / 离线数据接入等),切换后参数区会清空。 | 是 |
| 任务来源 | 工作空间 / Git。 | 是 |
| 路径 | 引用的 Notebook 文件路径。 | 是 |
七、任务来源:工作空间
1. 单击「路径」输入框,弹出文件选择器:
·工作空间 :按目录浏览,仅展示文件夹与 .ipynb 文件。
·最近打开 :列出当前用户最近 90 天内浏览过的 Notebook(按时间倒序)。
1. 选中后路径填入输入框,例如 /Workspace/your_username/data_etl.ipynb。
2. 路径输入框右侧操作:
·跳转图标 :新开页面到 Studio 中打开文件。
·复制图标 :复制完整路径。
八、任务来源:Git
1. 选择 Git 后下拉显示当前工作空间已配置的 Git 分支。
2. 在「路径」输入框中填入相对路径(基于远程仓库根目录),例如 notebooks/etl/daily.ipynb。
3. 系统不在配置时刻校验路径是否存在;运行时若文件不存在会以错误码 Git路径无效 失败。
注意:说明:
注意:工作空间未配置 Git 时,「Git」选项置灰。单击「去配置」跳转到 设置 Git 连接 完成配置。
九、步骤 4:配置计算资源
| 参数 | 说明 | 是否必填 | 默认值 |
| 计算资源 | 下拉展示当前工作空间已绑定且可用的计算资源。 | 是 | 无(用户自行选择) |
| 资源模式 | 分布式 / 单节点。 | 是 | 首次配置文件时该文件在 Studio 中的资源模式;从 Git 引用时默认「分布式」 |
| 资源配置 | 默认配置 / 自定义配置。 | 是 | 默认配置 |
十、资源模式:分布式(CPU / GPU)
| 配置项 | 说明 | 默认值 |
| Executor 资源 | small (1CU) / medium (2CU) / large (4CU) / xlarge (8CU) | 跟随计算资源默认值 |
| Executor 个数 | 动态分配(最小–最大)/ 固定分配(具体数量) | 计算资源默认值 |
| Driver 资源 | 同 Executor 规格选项 | 计算资源默认值 |
| Executor GPU 数 | 仅 GPU 类型计算资源展示。支持小数。 | 计算资源默认值 |
| Driver GPU 数 | 仅 GPU 类型计算资源展示。支持小数。 | 计算资源默认值 |
注意:自定义配置的资源总量(Executor 资源 × 个数 + Driver 资源)不能超过计算资源最大可用配额。超出时确认按钮置灰,并提示「超出当前计算资源最大可用数({计算资源最大 CU/GPU})」。
十一、资源模式:单节点
| 配置项 | 说明 |
| 资源规格 | 下拉选择,默认 large(4CU)。仅显示不超过计算资源最大规格的选项。 |
| GPU 配置 | 仅 GPU 类型计算资源展示。支持小数。 |
十二、自定义配置 – JSON 模式
UI 模式与 JSON 模式可双向切换。JSON 内容遵循腾讯云 API 规范:仅可修改 Value,新增、修改 Key 会校验失败。
十三、步骤 5:上游依赖与运行条件
参考 任务通用配置 的「上游依赖任务」与「运行条件」。运行条件支持简单模式(12 种触发选项,覆盖「全部成功、全部失败、全部完成、至少一个成功、至少一个失败、没有失败且至少一个成功」等场景)和高级模式(按上游逐个配置状态集合,用 且 / 或 连接)。不满足运行条件的任务终态为「排除运行 」,错误码 ExecutionConditionsNotMet。
十四、步骤 6:参数
参考 任务参数配置。Notebook 任务在代码中获取参数:
value = dlcutils.widgets.get('your_param')
详见 辅助工具(DLCUtils、魔法命令)。
十五、步骤 7:监控指标、告警、失败与超时策略
集中维护,本任务直接使用:
| 能力 | 中心文档 |
| 监控指标 / 告警 | 工作流与任务的告警 |
| 失败与超时策略 | 任务通用配置 的「失败与超时策略」 |
十六、步骤 8:保存
单击 创建任务 (新建场景)或 保存任务 (编辑场景)。
十八、路径示例
| 来源 | 示例 |
| 工作空间 | /Workspace/your_username/data_etl.ipynb |
| 工作空间(Git Folder) | /GitFolder/your_username/etl.ipynb |
| Git 远程仓库 | notebooks/etl/daily.ipynb |
十九、任务运行说明
·使用 Serverless 资源组的任务,会在运行前自动安装 Notebook 文件中的环境配置(基础环境 + pip install 安装的依赖),无需在任务运行时单独安装。
·调度运行使用「文件最新代码、任务最新配置」。如运行过程中文件被修改,下次运行使用新代码。
20、使用限制
·计算资源由用户在任务配置时选择,需具备运行权限。
·引用文件被移动、删除会导致任务运行失败,错误码 xxx 路径文件不存在。
·Git 路径不在配置时刻校验,存在路径错误风险;建议保存后立即调试运行验证。
·自定义资源配置不能超过所选计算资源的最大配额。
21、常见问题
Q1:Notebook 任务可以使用哪些计算资源?
Notebook 任务在配置时可下拉选择当前工作空间已绑定的计算资源;下拉列表展示资源名称、配额、可用配额。具体支持的资源类型与配额管理详见 计算资源概述。
Q2:从 Git 引用 Notebook 时,每次运行都要拉取最新代码吗?
是的。Notebook 任务每次运行(含调度运行和调试运行)都会从远程 Git 仓库获取最新代码。
·调试运行:使用当前运行人的 Git 配置。
·调度运行:使用任务 Run As 账号的 Git 配置。
Q3:参数值可以引用上游 SQL 任务的 output 行吗?
可以。在任务参数中写:
parameter = {{tasks.<上游 SQL 任务名>.output.first_row.<列名>}}
详见 参数传递。
22、相关文档
·Notebook 运行
·辅助工具(DLCUtils、魔法命令)
·参数传递
·工作流与任务的告警
·计算资源概述