一、功能说明
配置质量监控任务是数据质量模块的起点,在此模块中你可以:
1. 新增质量监控任务。
2. 管理质量监控任务。
二、新增质量监控任务
·支持多种腾讯云大数据存储引擎( Hive、Spark、DLC、TCHouse-D、 TCHouse-P、TCHouse- X、Doris 、StarRocks)。
·可按照表级、字段级配置数据质量检测规则。
·基于实际业务场景配置执行策略。
·设置规则强弱决定是否阻塞下游任务。
·支持多种触达用户方式(企微群、微信、电话、短信、邮件、飞书群、钉钉群)。
·支持试运行。
三、管理质量监控任务
·支持按照数据表,查看表下监控任务列表,并支持开启和关闭。
·支持查看质量规则列表,并支持编辑与管理。
四、前置条件
·已在项目中绑定了腾讯云大数据引擎:Hive、Spark、DLC、TCHouse-D、 TCHouse-P、TCHouse- X、Doris 、StarRocks。
·已在项目中绑定调度资源组。
五、管理监控列表
你通过质量模块和编排空间创建的质量任务都会展示在本列表。
六、步骤一:搜索表
通过展开页面左侧树结构定位需查看/创建监控的表。也支持你通过搜索框快速定位表。
定位到表后,可通过展开查看表下关联的所有监控任务
七、步骤二:搜索监控
通过页面右侧搜索框可按表名、监控名、监控ID搜索列表内的对象
八、步骤三:查看/管理列表
为你展示ID/监控名称、质量规则、表名、创建路径、关联范围、规则模板、质量监控数据范围、重要程度、启用状态、关联调度等质量规则详细信息,同时你可以在操作列对规则进行修改、删除或查看运维、查看质量报告等操作。
·新增监控:为表设置监控规则
·查看实例:可查看数据质量任务运行实例。可对表维度查看某张表下全部的任务实例,也可查看单个监控任务的实例。
·质量报告:可查看表的质量报告,详情可参见质量报告
·关联规则:可查看监控关联的规则明细
·编辑:编辑监控任务
·删除:删除监控任务。已关联规则的任务需解除关联才可删除。