大数据智能体工作台 DataBuddy 实时同步任务运维监控

实时同步任务的运维监控覆盖任务从发布、启动、运行到停止的完整生命周期。这里说明任务列表、运维详情页、运行日志、链路详情与 DDL 变更记录的查看方式,以及常用运维操作(启动、重启、停止、修改负责人、修改告警等)。

相关产品
大数据智能体工作台 DataBuddy 产品页,含版本规格、价格与购买入口。

二、前提条件

·已创建实时同步任务,详见 实时整库多表任务配置 或 实时分库分表任务配置。

·当前账号在目标 Workspace 中拥有任务的相应权限:可查看 / 可编辑 / 可运行 / 可管理 (详见 成员与权限管理)。

三、任务状态

状态 说明 可执行操作(主操作 + 更多)
未发布 任务新建后未发布 发布、编辑、权限、删除
待启动 任务已发布尚未启动 启动、编辑、权限、删除(编辑保存后主操作变为「发布」)
操作中 启动、停止、重启的中间态 —
运行中 启动成功后的稳定运行态 停止、强制停止、重启、编辑、权限
运行中(有更新) 运行中的任务被重新编辑发布 重启(主操作)、停止、强制停止、编辑、权限
运行中(异常) 10 分钟内重启次数 > 1 次;状态后会附带异常原因 停止、强制停止、重启、编辑、权限
已停止 停止操作完成 启动、编辑、权限、删除
失败 启动失败(如启动超时)或运行失败(如达到最大重启次数);状态后附带异常原因 启动、编辑、权限、删除

五、步骤 1:打开任务列表

1. 登录 DataBuddy 控制台。

2. 在顶部切换到目标地域和 Workspace。

3. 进入 数据接入 > 任务管理 > 实时同步 。

任务列表展示任务名 / ID、任务类型、状态、数据来源、负责人、创建人、更新时间。支持按任务名称 / ID 模糊搜索,按来源类型、数据源连接、目标 Catalog、计算资源筛选。

六、步骤 2:发布任务

1. 选择 未发布 任务,点击 发布 。

2. 在发布弹窗中选择:

·仅发布 :发布后任务进入 待启动 状态。

·发布并启动 :发布后直接进入启动流程(详见 步骤 3)。

七、步骤 3:启动任务

启动分为三步:检测 → 选择启动策略 → 查看进度。

1. 任务启动检测 :平台检查任务配置完整性等。

2. 选择启动策略 :根据任务当前状态可选不同策略,详见 启动、重启策略。

3. 查看进度与结果 :可点击 查看运行详情 进入任务运维详情页,或点击 关闭 回到列表。

八、启动、重启策略

当前状态 可选启动策略 备注
待启动 立即启动,从默认位点同步;立即启动,指定位点同步;立即启动,指定时间点同步 仅 MySQL / 腾讯云 MySQL / TDSQL-C MySQL 数据源支持指定位点和指定时间点
运行中 / 运行中(有更新) / 运行中(异常) 继续运行,保留作业状态从最后位点继续;重新启动,从指定时间点 / 指定位点继续;重新启动,丢弃作业状态从默认位点开始 「继续运行」适用于配置变更后无需丢弃状态的场景
已停止 同上四种 —
失败 从上次运行失败的 Checkpoint 位点恢复;重新启动,从默认位点开始 —

九、步骤 4:查看运维详情

点击任务名称进入运维详情页:

·任务名称导航区 :返回列表、复制任务名称、收藏。

·任务操作区 :启动、停止、编辑、删除、权限(删除与权限折叠到「更多」中)。

·任务基本信息区 :任务名称、ID、类型、数据源、计算资源、运行身份、启动时间、创建人、创建时间。数据源与计算资源支持点击跳转。

·运行结果 :见 运行结果。

·运行日志 :见 运行日志。

·数据对账 :见 实时同步任务数据对账。

·配置详情 :展示最新发布版本的任务配置。

十、步骤 5:常用运维操作

操作 入口 行为
启动 列表「启动」/ 详情页操作区 见 步骤 3
停止 列表「停止」/ 详情页操作区 优雅停止
强制停止 列表「强制停止」/ 详情页操作区 跳过优雅流程立刻终止
重启 列表「重启」/ 详情页操作区 等价于停止 + 启动
编辑 列表「编辑」/ 详情页操作区 进入任务编辑页
权限 列表「权限」/ 详情页「更多」 见 权限管理
修改负责人 列表「更多 → 修改负责人」 见 修改负责人
告警 列表「更多 → 告警」 直接修改告警渠道 / 告警类型 / 阈值,无需重新发布
删除 列表「更多 → 删除」 二次确认后删除;运行中的任务需先停止

十一、权限管理

任务权限按 ACL 实体访问控制,可对成员分配 可管理 / 可运行 / 可编辑 / 可查看 等权限。具体权限语义参见 成员与权限管理。

十二、修改负责人

负责人是任务实际的运行账号。运行中的任务修改负责人后需要重启任务才生效 ——重启之前列表负责人列后会出现 info 图标提示「负责人已被修改,需要重启后生效」。从编辑任务修改负责人时还需要先发布再启动。

十四、任务执行状态与进度

实时任务按 环境准备 → 全量同步 → 增量同步 三个阶段展示进度:

阶段 含义 进度展示
环境准备 任务初始化(资源就绪、连接建立等) 一次性阶段
全量同步 将源表所有存量数据同步到目标表 进度百分比 + 已完成 / 总库表数
增量同步 持续不间断同步源端实时变更 当前延迟(如「延迟 2 秒」),停止时显示「已停止」

十五、链路详情

以列表形式展示每张表的同步情况:来源库、来源 Schema(如有)/ 来源表、目标 Catalog / 目标 Schema / 目标表、目标对接方式、建表 DDL / 读取条数、写入条数、更新条数、删除条数、状态。

行为 说明
过滤搜索 来源 / 目标的库、Schema、表、目标对接方式、状态均可过滤
排序 读取条数 / 写入条数 支持排序
状态 正常 / 异常 (运行异常会展示具体原因)
跳转 点击目标表新窗口进入 Catalog 表详情页
建表 DDL 目标对接方式为「自动建表」时显示完整建表 DDL;为「使用已有表」时显示 —

十六、DDL 变更记录

仅来源类型为 MySQL / 腾讯云 MySQL / TDSQL-C MySQL 时支持。其他来源类型显示「当前链路暂不支持 DDL 变更记录」。

记录字段:来源库、来源 Schema(如有)/ 来源表、目标 Catalog / 目标 Schema / 目标表、变更时间、变更策略、来源表 DDL 语句、目标表 DDL 语句、变更状态。

变更状态 出现条件
成功 变更策略为「自动变更」且执行成功
失败 变更策略为「自动变更」但执行失败;行末 info 图标可查看失败原因,任务默认忽略此次变更
忽略 变更策略为「忽略」

十七、运行日志

能力 说明
历史日志 任意状态(包括停止后)都支持查看历史日志
快捷诊断 文本匹配 + 关键词高亮,可快速定位匹配内容
自动刷新 默认关闭;如需查看最新日志请手动点击刷新
日志查询 支持按关键词搜索;按日志级别和时间过滤

十八、数据对账

数据对账结果展示在 数据对账 中。详细配置规则、告警与失败处理参见 实时同步任务数据对账。

十九、验证结果

完成运维操作后,你可以通过以下方式确认:

1. 任务列表状态 已变更为目标状态(如启动后变为 运行中 ,停止后变为 已停止 )。

2. 任务详情页 中环境准备、全量同步、增量同步阶段的进度更新符合预期。

3. 链路详情 列表中的每张表读取、写入条数持续增长(增量同步阶段)。

4. 运行日志 没有异常事件。

21、Q:任务停留在「操作中」迟迟无变化?

A:操作中是启动、停止、重启的中间态,通常会在分钟级内自动转入下一个状态。如长时间停留:

1. 查看运行日志是否有错误信息。

2. 检查计算资源是否处于异常状态(详见 计算资源用量监控)。

3. 如确认卡死,可联系技术支持处理。

22、Q:「运行中(异常)」状态如何排查?

A:运行中(异常)通常因 10 分钟内重启次数 > 1 次触发。请按以下顺序排查:

1. 状态后的异常原因提示。

2. 运行日志中最近一段错误堆栈。

3. 链路详情中过滤异常表,查看原因。

4. DDL 变更记录中是否存在「失败」的变更(变更策略为「自动变更」且执行失败时,任务默认忽略,但可能导致后续数据写入异常)。

5. 查看告警通知,确认是否已超出 Failover 重启次数阈值。

23、Q:修改负责人后任务还在用旧账号运行?

A:负责人修改后需要重启任务才生效 。请在合适时机点击 重启 ,否则继续以原负责人身份运行。如果是从编辑任务页修改的,还需要先发布再启动。

24、Q:删除任务后能恢复吗?

A:删除是终态操作,请通过「停止 → 确认无依赖 → 删除」的顺序谨慎操作。运行中的任务无法直接删除,需要先停止后再删除。

25、Q:能否一次启动多个任务?

A:当前任务列表不提供批量启动入口,每个任务需要单独启动。

26、相关文档

·实时整库多表任务配置

·实时分库分表任务配置

·实时同步任务数据对账

·离线同步任务运维监控

·设置通知渠道

·成员与权限管理

·计算资源用量监控

赞 (0)
上一篇 5天前
下一篇 5天前