大数据智能体工作台 DataBuddy 质量异常诊断与血缘分析

一、概述

数据质量问题的排查往往需要跨多个系统和链路进行分析，耗时费力。质量异常诊断与血缘分析覆盖以下场景：

·质量规则告警诊断 ：质量任务中规则检测失败时，自动分析失败原因（数据侧问题、规则配置问题、上游延迟），评估影响范围，并给出修复建议。

·异常检测结果诊断 ：当异常检测发现新鲜度或完整性异常时，自动追溯上游链路，定位根因并评估影响范围。

·血缘关系追溯 ：基于表级血缘关系，追溯异常数据的上下游链路，快速定位问题源头与影响范围。

·影响范围评估 ：当某张表出现质量问题时，沿血缘链路自动分析受影响的下游表与任务，帮助评估异常波及面。

·质量趋势分析 ：分析某张表的质量检测历史趋势，识别周期性异常模式，建议调整规则阈值或灵敏度。

·修复建议与落地 ：根据诊断结果给出修复建议（重跑上游任务、调整阈值、联系表 Owner），支持一键执行修复操作。

注意：血缘分析支持表级血缘追溯，暂不支持字段级血缘。

二、前提条件

·工作空间已开通 Buddy。

·当前账号拥有 Buddy 开发模式权限。

·对需要诊断的表拥有查看权限。

·已通过 质量任务创建与调度 配置了质量规则，或已开启异常检测。

·血缘追溯需要 Catalog 中已有血缘数据。

三、你必须提供的信息

Buddy 在执行诊断前会要求你提供以下最小信息集，其余由 AI 自动分析：

如果从告警通知中点击触发，Buddy 会自动获取表名与告警详情，无需你手动输入。

四、AI 可智能生成的分析

五、步骤 1：触发诊断

有两种方式触发诊断：

方式一：从告警通知触发

质量告警触发时，点击告警通知即可在 Buddy 侧边栏自动打开诊断对话，Buddy 会自动获取告警上下文信息。

方式二：在 Buddy 中用自然语言描述

示例输入 ：

dwd_order_detail 的空值率告警了，帮我看看什么原因

ods_user 表异常检测显示新鲜度异常，帮我排查

这张表完整性骤降 60%，帮我看看影响了哪些下游

dws_daily_gmv 最近一周频繁告警，是不是阈值该调了？

帮我看看 dwd_order_detail 的上游血缘链路

六、步骤 2：查看根因分析

Buddy 会自动分析异常原因并展示诊断结果：

·异常概要 ：告警规则、触发时间、异常指标与实际值

·根因判定 ：数据侧问题（上游数据异常）/ 规则配置问题（阈值过严）/ 上游任务延迟

·证据链 ：支撑根因判定的关键数据点

七、步骤 3：查看血缘追溯与影响范围

Buddy 展示表级血缘链路分析：

·上游追溯 ：从异常表向上追溯，展示数据来源链路，标注异常节点

·下游影响 ：从异常表向下追溯，列出所有受影响的下游表与关联任务

·影响评估 ：受影响的下游表数量、关联任务数量、业务影响等级

注意：血缘追溯基于表级血缘关系，暂不支持字段级血缘分析。

八、步骤 4：查看趋势分析（可选）

如果需要了解历史趋势，Buddy 会分析质量检测历史数据：

·近期检测指标走势

·周期性异常模式识别

·阈值调整建议（如当前阈值过严导致频繁误报）

九、步骤 5：确认并执行修复

Buddy 根据诊断结果给出修复建议，你确认后可一键执行：

注意：修复操作均需你确认后才会执行，Buddy 不会自动执行任何修复操作。

十、关键节点确认

十一、Q：诊断支持字段级血缘吗？

A：目前仅支持表级血缘追溯，暂不支持字段级血缘分析。后续版本可能会扩展支持。

十二、Q：告警通知如何触发 Buddy 诊断？

A：质量告警触发时，点击告警通知即可在 Buddy 侧边栏自动打开诊断对话。Buddy 会自动获取告警的表名、规则、指标等上下文信息，直接开始诊断分析。

十三、Q：一键重跑上游任务会影响其他任务吗？

A：重跑操作会按照任务的正常调度逻辑执行，不会影响其他独立任务。但如果重跑的任务有下游依赖，下游任务可能会被触发重新执行，Buddy 会在确认时提示影响范围。

十四、Q：趋势分析需要多少历史数据？

A：建议至少有 7 天以上的质量检测历史数据，才能有效识别周期性异常模式。数据越多，趋势分析越准确。

十五、相关文档

·数据治理 Agent

·质量任务创建与调度

·数据质量概述