数据开发治理平台 WeData 数据质量

这篇说说腾讯云WeData数据质量监控功能,指导用户对数据表设置空值检测规则,当字段出现空值时自动触发告警并通知相关人员,防止脏数据传递。 空值检测任务:配置监控对象与执行策略,关联或新增“字段空值个数”规则,设置触发条件并配置告警订阅。 任务发布与运维:在监控列表开启/关闭任务,在运维管理查看执行状态与规则检测结果。

相关产品
数据开发治理平台 WeData 产品页,含版本规格、价格与购买入口。

在此步骤中,我们将完成对数仓中的数据表进行质量监控,防止脏数据向下游传递。

一、质量监控任务设计

当明细表中某字段为空时,及时触发质量告警。

·监控逻辑:当关联的生产任务执行完成后,自动触发质量监控任务来检测对应表的字段是否存在空值。

二、质量监控任务开发

质量任务开发主要包含以下步骤。

三、空值检测任务

此处以创建质量监控任务为主线进行说明。

四、步骤1:配置监控信息

1. 单击数据质量模块,进入 数据监控 页面,选择监控列表tab,再单击新建监控按钮。

·新建监控:针对数据表新建质量监控任务。

2. 配置监控信息:

设置目标的监控对象和基础信息。此处以dim_author_shop表为例。

设置执行策略,当关联的数据集成任务周期调度执行完成后,就会触发执行该质量监控任务。

五、步骤2:给质量任务关联规则

1. 关联质量规则

当该表下之前已经创建过质量规则,此处可以直接关联到该任务。如果为空,则直接忽略这一步。

2. 规则管理

单击新增规则,选择“字段空值个数”规则。监控对象选择目标字段(以“uid”为例)。设置触发条件为大于等于1。即表示一旦uid字段存在空值,就触发质量告警通知,让相关人员第一时间知道。

注意:如果触发等级选择“高”,当质量任务检测异常时会将关联的上游生产任务置为“失败”,直接阻断工作流后续任务节点。

3.配置告警订阅信息,即当质量检测异常时通过什么方式通知给谁。

以“企业微信群”为例,配置完成后点击保存。

4.试运行

勾选规则并点击试运行

点击开始试运行,然后点击查看运行结果。

再点击完成即可完成质量任务的创建。

六、步骤3:质量任务发布和查看

回到 数据监控 页面,查看所创建的质量监控任务。可以点击开关来开启或关闭监控任务。

七、质量监控任务运维

你可在运维管理中,查看质量监控任务的运行结果。

“实例执行状态”代表是否任务执行成功;“检测状态”代表是否至少存在一个规则被触发(异常);一个质量任务下可以包含多个质量规则,每个规则都可以查看对应的检测结果是否正常。

赞 (0)
上一篇 4天前
下一篇 4天前