弹性 MapReduce Doris 监控指标

这篇仅列出了Doris-FE、Doris-BE和Doris-BK三个名词,未对其进行任何详细的介绍或说明。

相关产品
弹性 MapReduce 产品页,含版本规格、价格与购买入口。

一、Doris-FE

标题 指标名称 指标单位 指标含义
节点信息 FeNodeNum count FE 总节点数
 BeAliveNum count BE 活动节点数
 BkDeadNum count Broker 死亡节点数
CONNECTION 数量 Num count FE 节点 JVM connection 数量
JVM 线程数 Total count FE节点JVM中线程总数,包含daemon线程和非daemon线程
 Peak count FE节点JVM线程峰值
GC 次数 YoungGC count FE 节点 JVM Young GC 次数
 OldGC count FE 节点JVM Old GC 次数
GC 时间 YoungGC s FE 节点 JVM Young GC 时间
 OldGC s FE 节点 JVM Old GC 时间
FE 查询延时 Quantile75 ms FE 查询延时的75分位数
 Quantile95 ms FE 查询延时的95分位数
 Quantile99 ms FE 查询延时的99分位数
 Quantile999 ms FE 查询延时的99.9分位数
TABLET_COMPACTION 最高分 MAX score FE tablet 进行compaction时compaction score 最大值
SCHEDULED_TABLET 数量 ScheduledTablet count FE 中 scheduled tablet 数量
请求响应 QPS count 每秒查询率
 RPS count 每秒能处理的请求数目
查询失败率 ErrRate % 查询错误率
缓存查询 SqlModelHitQuery count 模式为 sql 的 Query 命中 Cache 的数量
 PartitionModelHitQuery count 通过 Partition 命中的 Query 数量
 SqlModelQuery count 识别缓存模式为 sql 的 Query 数量
 PartitionModelQuery count 识别缓存模式为 Partition 的 Query 数量
 CachePartitionHit count 查询中通过 cache 命中的分区数量
 CachePartitionScan count 查询中扫描的所有分区数量
ROUTINE_LOAD 行数 TotalRows count FE routine load的行数
 ErrorRows count FE routine load 错误的行数
TRANSACTION 状态统计 Reject count FE 被拒绝的 transaction 数量
 Begin count FE 开始的 transaction 数量
 Success count FE 成功的 transaction 数量
 Failed count FE 失败的 transaction 数量
IMAGE 数量 Write count FE image write 的数量
 Push count FE image push 的数量
ALTER 任务统计 RollupRunning count 运行中的 alter job,类型为 ROLLUP 的数量
 SchemaChangeRunning count 运行中的 alter job,类型为 SCHEMA_CHANGE 的数量
UNKNOWN_LOAD 任务统计 UNKNOWN count 类型为 UNKNOWN,状态为 UNKNOWN 的 load job 数量
 PENDING count 类型为 UNKNOWN,状态为 PENDING 的 load job 数量
 ETL count 类型为 UNKNOWN,状态为 ETL 的 load job 数量
 LOADING count 类型为 UNKNOWN,状态为 LOADING 的 load job 数量
 COMMITTED count 类型为 UNKNOWN,状态为 COMMITTED 的 load job 数量
 FINISHED count 类型为 UNKNOWN,状态为 FINISHED 的 load job 数量
 CANCELLED count 类型为 UNKNOWN,状态为 CANCELLED 的 load job 数量
SPARK_LOAD 任务统计 UNKNOWN count 类型为 SPARK,状态为 UNKNOWN 的 load job 数量
 PENDING count 类型为 SPARK,状态为 PENDING 的 load job 数量
 ETL count 类型为 SPARK,状态为 ETL 的 load job 数量
 LOADING count 类型为 SPARK,状态为 LOADING 的 load job 数量
 COMMITTED count 类型为 SPARK,状态为 COMMITTED 的 load job 数量
 FINISHED count 类型为 SPARK,状态为 FINISHED 的 load job 数量
 CANCELLED count 类型为 SPARK,状态为 CANCELLED 的 load job 数量
DELETE_LOAD 任务统计 UNKNOWN count 类型为 DELETE,状态为 UNKNOWN 的 load job 数量
 PENDING count 类型为 DELETE,状态为 PENDING 的 load job 数量
 ETL count 类型为 DELETE,状态为 ETL 的 load job 数量
 LOADING count 类型为 DELETE,状态为LOADING 的 load job 数量
 COMMITTED count 类型为 DELETE,状态为 COMMITTED 的 load job 数量
 FINISHED count 类型为 DELETE,状态为 FINISHED 的 load job 数量
 CANCELLED count 类型为 DELETE,状态为 CANCELLED 的 load job 数量
INSERT_LOAD 任务统计 UNKNOWN count 类型为 INSERT,状态为 UNKNOWN 的 load job 数量
 PENDING count 类型为 INSERT,状态为 PENDING 的 load job 数量
 ETL count 类型为 INSERT,状态为 ETL 的 load job 数量
 LOADING count 类型为 INSERT,状态为 LOADING 的 load job 数量
 COMMITTED count 类型为 INSERT,状态为 COMMITTED 的 load job 数量
 FINISHED count 类型为 INSERT,状态为 FINISHED 的 load job 数量
 CANCELLED count 类型为 INSERT,状态为 CANCELLED 的 load job 数量
BROKER_LOAD 任务统计 UNKNOWN count 类型为 BROKER,状态为 UNKNOWN 的 load job 数量
 PENDING count 类型为 BROKER,状态为 PENDING 的 load job 数量
 ETL count 类型为 BROKER,状态为 ETL 的 load job 数量
 LOADING count 类型为 BROKER,状态为 LOADING 的 load job 数量
 COMMITTED count 类型为 BROKER,状态为 COMMITTED 的 load job 数量
 FINISHED count 类型为 BROKER,状态为 FINISHED 的 load job 数量
 CANCELLED count 类型为 BROKER,状态为 CANCELLED 的 load job 数量
MINI_LOAD 任务统计 UNKNOWN count 类型为 MINI,状态为 UNKNOWN 的 load job 数量
 PENDING count 类型为 MINI,状态为 PENDING 的 load job 数量
 ETL count 类型为 MINI,状态为 ETL 的 load job 数量
 LOADING count 类型为 MINI,状态为 LOADING 的 load job 数量
 COMMITTED count 类型为 MINI,状态为 COMMITTED 的 load job 数量
 FINISHED count 类型为 MINI,状态为 FINISHED 的 load job 数量
 CANCELLED count 类型为 MINI,状态为 CANCELLED 的 load job 数量
HADOOP_LOAD 任务统计 UNKNOWN count 类型为 HADOOP,状态为 UNKNOWN 的 load job 数量
 PENDING count 类型为 HADOOP,状态为 PENDING 的 load job 数量
 ETL count 类型为 HADOOP,状态为 ETL 的 load job 数量
 LOADING count 类型为 HADOOP,状态为 LOADING 的 load job 数量
 COMMITTED count 类型为 HADOOP,状态为 COMMITTED 的 load job 数量
 FINISHED count 类型为 HADOOP,状态为 FINISHED 的 load job 数量
 CANCELLED count 类型为 HADOOP,状态为 CANCELLED 的 load job 数量

二、Doris-BE

标题 指标名称 指标单位 指标含义
THRIFT 使用情况 Broker count Broker 使用 thrift 的数量
 Backend count BE 使用 thrift 的数量
 Extdatasource count extdatasource 使用 thrift 的数量
 Frontend count FE 使用 thrift 的数量
STREAMING_LOAD 统计 RequestsTotal count streaming load 请求数量
 CurrentProcessing count streaming load 现有进程数
 PipeCount count streaming load Pipe 数量
STREAMING_LOAD 时间 Duration ms streaming load 持续时间
STREAMING_LOAD 数据量 LoadTotal bytes stream load 导入的数据大小
FRAGMENT 统计 PlanFragment count plan fragment 数量
 Endpoint count DataStream 的数量
 RequestsTotal count fragment 的请求次数
FRAGMENT 请求时间 Duration μs (微秒) fragment 的请求时间
BE 内存 Total bytes BE memory pool 大小
 Allocated bytes BE memory allocated 大小
TABLET_COMPACTIO最高分 CumulativeMax score tablet 中最大的 base compaction score
 BaseMax score tablet base 最大 compaction 分数
COMPACTION 数据量 Cumulative bytes Cumulative compaction 的数据量
 Base bytes Base compaction 的数据量
COMPACTION_DELTAS 数据量 Cumulative bytes Cumulative compaction deltas 的数据量
 Base bytes Base compaction deltas 的数据量
COMPACTION 使用的 MemPool 数量 CurrentConsumption count Compaction 使用的 MemPool 总和(所有 Compaction 线程)
进程文件句柄数 Used count BE 进程使用文件句柄数量
 SoftLimit count BE 进程文件句柄 soft 限制数量
 HardLimit count BE 进程文件句柄 hard 限制数量
进程运行线程数 NUM count BE 进程运行的线程个数
ENGINE REQUESTS 统计 FailedBaseCompaction count 类型为base_compaction,engine 请求失败数量
 FailedCultCompt count 类型为cumulative_compaction,engine 请求失败数量
 TotalBaseCompaction count 类型为base_compaction,engine 请求总数
 TotalCultCompt count 类型为cumulative_compaction,engine 请求总数

三、Doris-BK

标题 指标名称 指标单位 指标含义
GC 次数 YGC 次 Young GC 次数
 FGC 次 Full GC 次数
GC 时间 FGCT s Full GC 消耗时间
 GCT s 垃圾回收时间消耗
 YGCT s Young GC 消耗时间
内存区域占比 S0 % Survivor 0区内存使用占比
 E % Eden 区内存使用占比
 CCS % Compressed class space 区内存使用占比
 S1 % Survivor 1区内存使用占比
 O % Old 区内存使用占比
 M % Metaspace 区内存使用占比
JVM 内存 MemHeapUsedM MB JVM 当前已经使用的 HeapMemory 的数量
 MemHeapCommittedM MB JVM 已经提交的 HeapMemory 的数量
 MemHeapMaxM MB JVM 配置的 HeapMemory 的数量
 MemHeapInitM MB JVM 初始 HeapMem 的数量
 MemNonHeapUsedM MB JVM 当前已经使用的 NonHeapMemory 的数量
 MemNonHeapCommittedM MB JVM 当前已经提交的 NonHeapMemory 的数量
 MemNonHeapInitM MB JVM 初始 NonHeapMem 的数量
CPU 利用率 ProcessCpuLoad % CPU 利用率
文件句柄数 MaxFileDescriptorCount 个 最大文件描述符数
 OpenFileDescriptorCount 个 已打开文件描述符数
CPU 使用时间 ProcessCpuTime ms CPU 累计使用时间
进程运行时间 Uptime s 进程运行时长
工作线程数 ThreadCount 个 线程数量
 PeakThreadCount 个 峰值线程数量
 DaemonThreadCount 个 后台线程数量
赞 (0)
上一篇 5天前
下一篇 5天前