数据开发治理平台 WeData 用量大盘

注意：说明：

顶部筛选条件包含：全局视角、项目视角、成员视角。

·全局视角：支持查看全量的表、任务的用量消耗。

·项目视角：支持查看指定项目的表、任务的用量消耗，默认为全部项目，支持多选。“未归属”，用以筛选归属项目为空的数据。

·成员视角：支持查看指定的成员负责的表、任务的用量消耗，默认为全部成员，支持多选。

分析视角、选择项目、选择成员这几个选项针对不同的角色，其下拉列表可见的数据范围不同，详情如下：

一、存储消耗

追踪存储增长趋势，多维度（库/表/项目/成员）展示成本分布。

·存储消耗总数：展示筛选范围内所有表的存储消耗总和，单位为“GB”。

注意：目前仅支持查看DLC引擎的存储消耗，对于DLC中Hive类型的表，需在DLC开启“Hive表分区统计"，才会有对应表的存储量消耗。

·近7天：表总存储消耗增量变化值，日期为[T-1]当天的总存储减去日期为[T-7]当天的总存储。 环比计算逻辑：（近7天变化量-上一个7天变化量）/上一个7天变化量*100% （上一个周期是0或者上一个周期不够天数，环比就不展示）。

·近30天：表总存储消耗增量变化值，日期为[T-1]当天的总存储减去日期为[T-30]当天的总存储，环比计算逻辑：（近30天变化量-上一个30天变化量）/上一个30天变化量*100% （上一个周期是0或者上一个周期不够天数，环比就不展示）。

·表总数：展示筛选范围内所有表的总数量，单位为“张”。

注意：统计范围为元数据采集的表的数量。如果发现数量与实际表数量不一致，可在元数据中心 > 元数据采集菜单中检查是否创建了重复的采集任务，或者采集范围是否覆盖了所有数据库。

·近7天：总表数量变化值，日期为[T-1]当天的总表数减去日期为[T-7]当天的总表数。环比计算逻辑：（近7天变化量-上一个7天变化量）/上一个7天变化量*100%

·近30天：总表数量变化值，日期为[T-1]当天的总表数减去日期为[T-30]当天的总表数。环比计算逻辑：（近30天变化量-上一个30天变化量）/上一个30天变化量*100%

·数据库总数：展示筛选范围内所有库的总数量，单位为“个”。

·近7天：总库数量变化值，日期为[T-1]当天的总库数减去日期为[T-7]当天的总库数。环比计算逻辑：（近7天变化量-上一个7天变化量）/上一个7天变化量*100%

·近30天：总库数量变化值，日期为[T-1]当天的总库数减去日期为[T-30]当天的总库数。环比计算逻辑：（近30天变化量-上一个30天变化量）/上一个30天变化量*100%

二、计算消耗

DLC

对于 DLC，支持如下 DLC 引擎的计算消耗分析：标准引擎-Spark 类型、SuperSQL 引擎-SparkSQL、SuperSQL 引擎 Spark 作业，暂不支持 Presto 引擎的计算消耗分析。

注意：这里的计算消耗数据依赖用户是否在 DLC 开启了任务洞察能力，如果存量用户没有开启，则不会有数据，新用户会开启，该计算消耗仅代表物理计算消耗，与 DLC 账单无直接关系。

·计算消耗总数：展示筛选范围内所有任务的计算消耗总和，单位为“CU时”。具体包括：

·离线集成任务的消耗

·开发任务的消耗

·质量任务的消耗

·SQL 探索的查询消耗

·CU 时：表示计算资源为1核 CPU 和4GB内存的 Core 运行的小时数。

·近7天：表示计算消耗增量变化值，日期为[T-1]当天的总计算消耗减去日期为[T-7]当天的总计算消耗。 环比计算逻辑：（近7天变化量-上一个7天变化量）/上一个7天变化量*100% （上一个周期是0或者上一个周期不够天数，环比就不展示）。

·近30天：表示总计算消耗增量变化值，日期为[T-1]当天的总计算消耗减去日期为[T-30]当天的总计算消耗，环比计算逻辑：（近30天变化量-上一个30天变化量）/上一个30天变化量*100% （上一个周期是0或者上一个周期不够天数，环比就不展示）。

·任务总数：展示所选范围内任务的总数量，单位为“个”。具体包括：

·离线集成任务

·开发任务

·质量任务

注意：说明：

注意：不包括 SQL 探索。

·近7天：任务总数增量变化值，日期为[T-1]当天的总任务数减去日期为[T-7]当天的总任务数。 环比计算逻辑：（近7天变化量-上一个7天变化量）/上一个7天变化量*100% （上一个周期是0或者上一个周期不够天数，环比就不展示）。

·近30天：总任务数增量变化值，日期为[T-1]当天的总任务数减去日期为[T-30]当天的总任务数，环比计算逻辑：（近30天变化量-上一个30天变化量）/上一个30天变化量*100% （上一个周期是0或者上一个周期不够天数，环比就不展示）。

·实例总数：展示所选范围内实例的总数量，单位为“个”。具体包括：

·离线集成任务下的实例

·开发任务下的实例

·质量任务下的实例

注意：说明：

注意：不包括SQL探索。

·近7天：实例总数增量变化值，日期为[T-1]当天的总实例数减去日期为[T-7]当天的总实例数。 环比计算逻辑：（近7天变化量-上一个7天变化量）/上一个7天变化量*100% （上一个周期是0或者上一个周期不够天数，环比就不展示）。

·近30天：总实例数增量变化值，日期为[T-1]当天的总实例数减去日期为[T-30]当天的总实例数，环比计算逻辑：（近30天变化量-上一个30天变化量）/上一个30天变化量*100% （上一个周期是0或者上一个周期不够天数，环比就不展示）。

EMR

对于 EMR，目前仅支持 EMR 集群中 hive/iceberg/kyuubi 组件下任务的计算消耗分析，支持的任务类型为开发任务、离线集成任务、质量任务。

注意：对于 Hive 组件，需在 EMR 控制台 > hive 组件 > 配置管理 中找到 hiveserver2-log4j2.properties、hive-metastore-log4j2.properties、hive-log4j2.properties 3个文件，并将对应值改成 INFO。

注意：

CPU 消耗总数：展示筛选范围内所有任务的 CPU 消耗总和，单位为“vcore·h”。具体包括：

·开发任务：HiveSQL-Hive 组件、SparkSQL-Hive/iceberg/kyuubi 组件、PySpark/Spark/MapReduce-Hive 组件

·离线集成任务：Hive 数据源 read

·质量任务：Hive 数据源

·vcore·h：代表消耗1 个虚拟核心（vCore）1 小时

·近7天：总CPU消耗增量变化值，日期为[T-1]当天的总CPU消耗减去日期为[T-7]当天的总CPU消耗。 环比计算逻辑：（近7天变化量-上一个7天变化量）/上一个7天变化量*100% （上一个周期是0或者上一个周期不够天数，环比就不展示）。

·近30天：总CPU消耗增量变化值，日期为[T-1]当天的总CPU消耗减去日期为[T-30]当天的总CPU消耗，环比计算逻辑：（近30天变化量-上一个30天变化量）/上一个30天变化量*100% （上一个周期是0或者上一个周期不够天数，环比就不展示）。

内存消耗总数：展示筛选范围内所有任务的内存消耗总和，单位为“GB·h”。具体包括：

·开发任务（HiveSql/ SparkSql/PySpark/Spark/MapReduce）

·离线集成任务：Hive 数据源 read

·质量任务：Hive 数据源

·GB·h：代表占用1 个存储空间（mem）1 小时

·近7天：总内存消耗增量变化值，日期为[T-1]当天的总内存消耗减去日期为[T-7]当天的总内存消耗。 环比计算逻辑：（近7天变化量-上一个7天变化量）/上一个7天变化量*100% （上一个周期是0或者上一个周期不够天数，环比就不展示）。

·近30天：总内存消耗增量变化值，日期为[T-1]当天的总内存消耗减去日期为[T-30]当天的总内存消耗，环比计算逻辑：（近30天变化量-上一个30天变化量）/上一个30天变化量*100% （上一个周期是0或者上一个周期不够天数，环比就不展示）。

CPU 消耗和内存消耗补充说明：

1个任务运行了1秒消耗3 个CPU和6 GB ，那么计算消耗为 3CPUs和6GBs，一共有300个任务，那么计算消耗累计为900CPUs、1800GBs ，折合展示为 0.25CPU·h、0.5GB·h。

任务总数：展示所选范围内任务的总数量，单位为“个”

具体包括:

·开发任务

·离线集成任务

·质量任务

近7天：任务总数增量变化值，日期为[T-1]当天的总任务数减去日期为[T-7]当天的总任务数。 环比计算逻辑：（近7天变化量-上一个7天变化量）/上一个7天变化量*100% （上一个周期是0或者上一个周期不够天数，环比就不展示）

近30天：总任务数增量变化值，日期为[T-1]当天的总任务数减去日期为[T-30]当天的总任务数，环比计算逻辑：（近30天变化量-上一个30天变化量）/上一个30天变化量*100% （上一个周期是0或者上一个周期不够天数，环比就不展示）

实例总数：展示所选范围内实例的总数量，单位为“个”

具体包括:

·开发任务下的实例

·离线集成任务下的实例

·质量任务下的实例

近7天：实例总数增量变化值，日期为[T-1]当天的总实例数减去日期为[T-7]当天的总实例数。 环比计算逻辑：（近7天变化量-上一个7天变化量）/上一个7天变化量*100% （上一个周期是0或者上一个周期不够天数，环比就不展示）

近30天：总实例数增量变化值，日期为[T-1]当天的总实例数减去日期为[T-30]当天的总实例数，环比计算逻辑：（近30天变化量-上一个30天变化量）/上一个30天变化量*100% （上一个周期是0或者上一个周期不够天数，环比就不展示）

三、存储消耗分析

存储消耗分析旨在帮助用户全面洞察平台存储资源使用情况。通过本功能，你可以有效地监控存储增长、定位存储热点、识别潜在的存储浪费，并为存储优化和成本控制提供数据支持。本功能主要包含以下四个维度的分析。

注意：说明：

注意：目前仅支持查看DLC的存储消耗分析

存储消耗变化趋势

此功能通过可视化的方式展示平台整体存储消耗和对应表的总数量随时间的变化情况。你可以选择不同的时间粒度（如日、周、月）来观察存储量和表总数的增长速率和波动情况。

注意：说明：

注意：统计的表范围为页面顶部全局筛选条件圈定的范围，每天的存储消耗为当天所有表存储消耗总和。

你可选择特定时间段查看该时间段（天粒度）表消耗的变化趋势。

鼠标悬停至折线上，可查看具体某天的存储消耗总数和总表数。

存储消耗排行

此功能列出当前平台中存储消耗最大的TOP50数据对象，按表、数据库、成员、项目、资产目录维度进行排行。你可以快速定位哪些部分占用了最多的存储空间。

按表粒度

统计范围为页面顶部全局筛选条件圈定的表范围。若顶部筛选条件为“个人视角”，则表粒度存储排行是将负责人是所选成员的表按其存储总消耗排行；若顶部筛选条件为“项目视角”，则表粒度存储排行是将归属项目是所选项目的数据库下所有表按照存储消耗总量排行。

你可通过点击表名和库名查看表详情和库详情

按库粒度

统计范围为页面顶部全局筛选条件圈定的表范围。若顶部筛选条件为“个人视角”，则库粒度存储排行是将负责人是所选成员的表将其存储消耗按照关联的库维度汇总排行。若顶部筛选条件为“项目视角”，则库粒度存储排行是将归属项目是所选项目的数据库按照存储消耗总量排行。

你可通过点击库名查看库详情

按成员粒度

统计范围为页面顶部全局筛选条件圈定的表范围。若顶部筛选条件为“项目视角”，则成员粒度排行是按照所选项目下每个成员名下的表的存储消耗总量排行；若顶部筛选条件为“个人视角”，则成员粒度排行是按照所选成员每个人名下的表的存储消耗总量排行。

按项目粒度

统计范围为页面顶部全局筛选条件圈定的表范围。若顶部筛选条件选了项目视角，则项目粒度排行是按照所选项目内的表（按归属项目字段）的存储消耗总量排行；若顶部筛选条件选了个人视角，则项目粒度排行tab页签隐藏。

按资产目录粒度

统计范围为页面顶部全局筛选条件圈定的表范围。若顶部筛选条件选了项目视角，则资产目录粒度排行是按照所选项目内的表（按归属项目字段）的存储消耗总量排行；若顶部筛选条件选了个人视角，则资产目录粒度按个人的存储消耗总量排行。

注意：说明：

注意：仅展示一级目录的存储消耗。

长期未访问的表

此功能帮助你识别在指定时间窗口内（过去30天、90天）没有访问的数据表。

统计范围为页面顶部全局筛选条件圈定的数据范围。若顶部筛选条件为“个人视角”，则是将负责人是所选成员的表按其访问次数从小到大排行。若顶部筛选条件为“项目视角”，则是将归属项目是所选项目的表按其访问次数从小到大排行。

你可通过点击表名和库名查看表详情和库详情。

·90天内未访问：展示日期在[T-90，T-1]闭区间内，增量访问次数为0。

·30天内未访问：展示日期在[T-30，T-1]闭区间内，增量访问次数为0。

表存储消耗明细

针对单个数据表，本列表提供其内部存储消耗的详细分析，包括总存储消耗、近30天访问次数、近30天增量存储。

支持按照归属项目、负责人、表名快速筛选。你可根据实际业务场景，查看某项目中存储消耗明细、某负责人下的表存储消耗明细。

你可通过点击表名查看表详情，支持按照累计访问次数、近30天访问次数、近30天增量存储、总存储消耗升序和降序展示数据。

·近30天访问次数：展示访问日期在[T-30,T-1]闭区间内的增量访问次数。

·近30天增量存储量：展示访问日期在[T-30,T-1]闭区间内的增量存储量。

·总存储量：展示表T-1统计的最新总存储量。

四、DLC

监控 CU 消耗，关联作业类型，按任务/项目/成员粒度统计资源开销。

计算消耗变化趋势

通过计算消耗变化趋势功能，你可以直观地追踪特定时间周期内（如日、周、月）计算资源的总消耗量变化情况。同时，你可以关联作业类型，查看不同任务类型的消耗情况。

·计算消耗统计包含离线集成任务、开发任务、质量任务、SQL探索

·任务数量统计，包含：离线集成任务、开发任务、质量任务，不包含SQL探索。

支持查看详细的任务消耗类型，鼠标悬停至折线上可查看每个类型的任务数和计算消耗。

注意：说明：

注意：消耗类型默认不展开，你可根据业务所需自定义勾选。

计算消耗排行

计算消耗排行功能能够帮助你快速定位消耗计算资源最多的单元Top50。你可以按照不同的维度进行排行分析，例如按任务、成员、项目等。也可按照时间范围筛选任务。

当前仅支持查看DLC SQL类型任务

统计的任务包含离线集成任务、开发任务、质量任务，不包含SQL探索

任务消耗明细

任务消耗明细功能提供了深入到单个计算任务层面的资源消耗详情。你可以查看特定任务的执行时间、实例个数、CU实际使用量（累计消耗和选定时间消耗）

统计的任务包含离线集成任务、开发任务、质量任务，不包含SQL探索

支持按照任务类型、项目、负责人、任务名称/ID筛选任务；支持按照时间区间筛选

点击任务名称，可跳转到任务的运维中心，并筛选出该任务，便于你更加清晰的查看任务运行情况。

五、EMR

监控 CPU 和内存消耗，关联作业类型，按任务/项目/成员粒度统计资源开销。

计算消耗变化趋势

通过计算消耗变化趋势功能，你可以直观地追踪特定时间周期内（如日、周、月）计算资源的 CPU 和内存消耗量变化情况。同时，你可以关联作业类型，查看不同任务类型的消耗情况。

·统计包含开发任务、离线集成任务、质量任务。

支持通过勾选展开任务类型查看详细的任务消耗类型，鼠标悬停至折线上可查看每个类型的任务数和计算消耗。

注意：说明：

注意：消耗类型默认不展开，你可根据业务所需自定义勾选。

CPU 消耗排行

CPU 消耗排行功能能够帮助你快速定位 CPU 消耗最多的任务Top50。你可以按照不同的维度进行排行分析，例如按任务、成员、项目等。也可按照时间范围筛选任务。

统计的任务包含开发任务、离线集成任务、质量任务。

内存消耗排行

内存消耗排行功能能够帮助你快速定位内存消耗最多的任务Top50。你可以按照不同的维度进行排行分析，例如按任务、成员、项目等。也可按照时间范围筛选任务。

统计的任务包含开发任务、离线集成任务、质量任务。

任务消耗明细

任务消耗明细功能提供了深入到单个计算任务层面的资源消耗详情。你可以查看特定任务的实例个数、任务耗时、CPU和内存实际使用量（累计消耗和选定时间消耗）。

·统计的任务包含开发任务、离线集成任务、质量任务。

·支持按照任务类型、项目、负责人、任务名称/ID筛选任务；支持按照时间区间筛选。

·点击任务名称，可跳转到任务的运维中心，并筛选出该任务，便于你更加清晰的查看任务运行情况。