云服务器特惠 99/年起
  1. 腾讯云优惠网首页
  2. 腾讯云产品

弹性 MapReduce HBase 监控指标

• 腾讯云产品

这篇简要介绍了腾讯云HBase相关组件，包括HBase的概览、HMaster、RegionServer、Thrift和REST接口。HBASE-概览: HBase的基本介绍和整体架构概述。HBASE-HMaster: HBase的主节点功能，负责管理表和Region的分配。HBASE-RegionServer: HBase的数据存储和读写服务节点，处理客户端请求。HBase-Thrift: 通过Thrift接口访问H。

相关产品
弹性 MapReduce 产品页，含版本规格、价格与购买入口。

一、HBASE-概览

标题 指标名称 指标单位 指标含义
集群处于 RIT Region 个数 ritCount 个 Region in transition 的个数
 ritCountOverThreshold 个 Region in transition 时间超过阈值的 Region 个数
集群 RIT 时间 ritOldestAge ms Region in transition 的最老年龄
每个 RS 平均 REGION 数 averageLoad 个 每个 RegionServer 平均 Region 数
集群 RS 数量 numRegionServers 个 当前存活的 RegionServer 个数
 numDeadRegionServers 个 当前 Dead 的 RegionServer 个数
HMaster 读写数据量 receivedBytes bytes/s 集群接收数据量
 sentBytes bytes/s 集群发送数据量
集群接口总请求量 clusterRequests 个/s 集群总请求数量
集群 Assignment 管理器操作 Assign_num_ops 次 Assign region次数
 BulkAssign_num_ops 次 Bulk assign region次数
集群负载均衡次数 BalancerCluster_num_ops 次 集群负载均衡次数

二、HBASE-HMaster

标题 指标名称 指标单位 指标含义
GC 次数 YGC 次 Young GC 次数
 FGC 次 Full GC 次数
GC 时间 FGCT s Full GC 消耗时间
 GCT s 垃圾回收时间消耗
 YGCT s Young GC 消耗时间
内存区域占比 S0 % Survivor 0区内存使用占比
 E % Eden 区内存使用占比
 CCS % Compressed class space 区内存使用占比
 S1 % Survivor 1区内存使用占比
 O % Old 区内存使用占比
 M % Metaspace 区内存使用占比
JVM 日志数量 LogFatal 个 Fatal 日志数量
 LogError 个 Error 日志数量
 LogWarn 个 WARN 日志数量
 LogInfo 个 Info 日志数量
JVM 内存 MemNonHeapUsedM MB 进程使用的非堆内存大小
 MemNonHeapCommittedM MB 进程 commit 的非堆内存大小
 MemHeapUsedM MB 进程使用的堆内存大小
 MemHeapCommittedM MB 进程 commit 的堆内存大小
 MemHeapMaxM MB 进程最大的堆内存大小
 MemMaxM MB 进程最大内存大小
堆内存使用率 MemHeapUsedRate % JVM 当前已经使用的 HeapMemory 的数量所占 JVM 配置的 HeapMemory 的数量的百分比
JVM 线程数量 ThreadsNew 个 处于 NEW 状态的线程数量
 ThreadsRunnable 个 处于 RUNNABLE 状态的线程数量
 ThreadsBlocked 个 处于 BLOCKED 状态的线程数量
 ThreadsWaiting 个 处于 WAITING 状态的线程数量
 ThreadsTimedWaiting 个 处于 TIMED WAITING 状态的线程数量
 ThreadsTerminated 个 当前 TERMINATED 状态线程数量
RPC 连接数 numOpenConnections 个 RPC 连接数
RPC 异常次数 FailedSanityCheckException 次 FailedSanityCheckException 异常次数
 NotServingRegionException 次 NotServingRegionException 异常次数
 OutOfOrderScannerNextException 次 OutOfOrderScannerNextException 异常次数
 RegionMovedException 次 RegionMovedException 异常次数
 RegionTooBusyException 次 RegionTooBusyException 异常次数
 UnknownScannerException 次 UnknownScannerException 异常次数
RPC 队列请求数 numCallsInPriorityQueue 个 通用队列 RPC 请求数
 numCallsInReplicationQueue 个 复制队列 RPC 请求数
进程启动时间 masterActiveTime s Master 进程 Active 时间
 masterStartTime s Master 进程启动时间

三、HBASE-RegionServer

标题 指标名称 指标单位 指标含义
GC 次数 YGC 次 Young GC 次数
 FGC 次 Full GC 次数
GC 时间 FGCT s Full GC 消耗时间
 GCT s 垃圾回收时间消耗
 YGCT s Young GC 消耗时间
内存区域占比 S0 % Survivor 0区内存使用占比
 E % Eden 区内存使用占比
 CCS % Compressed class space 区内存使用占比
 S1 % Survivor 1区内存使用占比
 O % Old 区内存使用占比
 M % Metaspace 区内存使用占比
JVM 日志数量 LogFatal 个 Fatal 日志数量
 LogError 个 Error 日志数量
 LogWarn 个 Warn 日志数量
 LogInfo 个 Info 日志数量
JVM 内存 MemNonHeapUsedM MB 进程使用的非堆内存大小
 MemNonHeapCommittedM MB 进程 commit 的非堆内存大小
 MemHeapUsedM MB 进程使用的堆内存大小
 MemHeapCommittedM MB 进程 commit 的堆内存大小
 MemHeapMaxM MB 进程最大的堆内存大小
 MemMaxM MB 进程最大内存大小
堆内存使用率 MemHeapUsedRate % JVM 当前已经使用的 HeapMemory 的数量所占 JVM 配置的 HeapMemory 的数量的百分比
JVM 线程数量 ThreadsNew 个 处于 NEW 状态的线程数量
 ThreadsRunnable 个 处于 RUNNABLE 状态的线程数量
 ThreadsBlocked 个 处于 BLOCKED 状态的线程数量
 ThreadsWaiting 个 处于 WAITING 状态的线程数量
 ThreadsTimedWaiting 个 处于 TIMED WAITING 状态的线程数量
 ThreadsTerminated 个 当前 TERMINATED 状态线程数量
Region 个数 regionCount 个 Region 个数
Region 本地化 percentFilesLocal % Region 的 HFile 位于本地 HDFS data node的比例
Region 副本本地化 percentFilesLocalSecondaryRegions % Region 副本的 HFile 位于本地 HDFS data node的比例
RPC 认证次数 authenticationFailures 次 RPC 认证失败次数
 authenticationSuccesses 次 RPC 认证成功次数
RPC 连接数 numOpenConnections 个 RPC 连接数
RPC 异常次数 FailedSanityCheckException 次 FailedSanityCheckException 异常次数
 NotServingRegionException 次 NotServingRegionException 异常次数
 OutOfOrderScannerNextException 次 OutOfOrderScannerNextException 异常次数
 RegionMovedException 次 RegionMovedException 异常次数
 RegionTooBusyException 次 RegionTooBusyException 异常次数
 UnknownScannerException 次 UnknownScannerException 异常次数
RPC 句柄数 numActiveHandler 个 RPC 句柄数
 numActiveWriteHandler 个 RPC 读句柄数
 numActiveReadHandler 个 RPC 写句柄数
 numActiveScanHandler 个 RPC 扫描句柄数
RPC 队列请求数 numCallsInPriorityQueue 个 优先队列 RPC 请求数
 numCallsInReplicationQueue 个 复制队列 RPC 请求数
 numCallsInPriorityQueue 个 通用队列 RPC 请求数
 numCallsInWriteQueue 个 写调用队列调用 RPC 请求数
 numCallsInReadQueue 个 读取调用队列中 RPC 请求数
 numCallsInScanQueue 个 扫描调用队列中 RPC 请求数
WAL 文件数量 hlogFileCount 个 WAL 文件数量
WAL 文件大小 hlogFileSize Byte WAL 文件大小
Memstore 大小 memStoreSize MB Memstore 大小
Store 个数 storeCount 个 Store 个数
Storefile 个数 storeFileCount 个 Storefile 个数
Storefile 大小 storeFileSize MB Storefile 大小
写磁盘速率 flushedCellsSize bytes/s 写磁盘速率
平均延时 Append_mean ms Append 请求平均延时
 Replay_mean ms Replay 请求平均延时
 Get_mean ms Get 请求平均延时
 updatesBlockedTime ms Memstore 可 flush 前的更新阻塞时间
RS 写磁盘次数 FlushTime_num_ops 次 Memstore flush 写磁盘次数
操作队列请求数 splitQueueLength 个 Split 队列长度
 compactionQueueLength 个 Compaction 队列长度
 flushQueueLength 个 Region Flush 队列长度
Replay 操作次数 Replay_num_ops 次 Replay 操作次数
慢操作次数 slowAppendCount 次 Append 请求时间超过1s的数量
 slowDeleteCount 次 Delete 请求时间超过1s的数量
 slowGetCount 次 Get 请求时间超过1s的数量
 slowIncrementCount 次 Increment 请求时间超过1s的数量
 slowPutCount 次 Put 请求时间超过1s的数量
split 请求 splitRequestCount 次 split 请求数
 splitSuccessCount 次 split 成功次数
缓存块数量 blockCacheCount 个 Block Cache 中的 Block 数量
 blockCacheHitCount 个 Block Cache hit 请求数
 blockCacheMissCount 个 Block Cache miss 请求数
读缓存命中率 blockCacheExpressHitPercent % 读缓存命中率
缓存块内存占用大小 blockCacheSize Byte 缓存块内存占用大小
索引大小 staticBloomSize Byte 未压缩的静态 Bloom Filters 大小
 staticIndexSize Byte 未压缩的静态索引大小
 storeFileIndexSize Byte 磁盘上 storeFile 中的索引大小
读写流量 receivedBytes bytes/s 读写流量
 sentBytes bytes/s 接收数据量
读写请求量 Total 个/s 总请求量，当有 Scan 请求时，该值会小于读写请求之和
 Read 个/s 读请求量
 Write 个/s 写请求量
 Append_num_ops 个/s Append 请求量
 Mutate_num_ops 个/s Mutate请求量
 Delete_num_ops 个/s Delete 请求量
 Increment_num_ops 个/s Increment 请求量
 Get_num_ops 个/s Get 请求量
 Put_num_ops 个/s Put 请求量
 ScanTime_num_ops 个/s Scan 请求量
 ScanSize_num_ops 个/s Scan 请求量
mutation 个数 mutationsWithoutWALCount 个 mutation 个数
mutation 大小 mutationsWithoutWALSize Byte mutation 大小
进程启动时间 regionServerStartTime s 进程启动时间
同步 Log source.sizeOfLogQueue 个 同步 Log 长度
同步耗时 source.ageOfLastShippedOp ms 同步耗时
请求量 ReadRequestCount 个/s 读请求量/s
 WriteRequestCount 个/s 写请求量/s
请求量 Read 个/s 读请求量/s
 Write 个/s 写请求量/s
Store大小 memstoreSize Byte memstore大小
 storeFileSize Byte storeFile大小
表级别请求延迟 getTime_99th_percentile ms 99%请求处理时延
 scanTime_99th_percentile ms 99%请求处理时延
 putTime_99th_percentile ms 99%请求处理时延
 incrementTime_99th_percentile ms 99%请求处理时延
 appendTime_99th_percentile ms 99%请求处理时延
 deleteTime_99th_percentile ms 99%请求处理时延
请求处理时延 99th_percentile ms 99%请求处理时延
 99.9th_percentile ms 99.9%请求处理时延
请求排队时延 99th_percentile ms 99%请求排队时延
 99.9th_percentile ms 99.9%请求排队时延
SCAN SIZE max bytes 最大 ScanSize
 mean bytes 平均 ScanSize
 min bytes 最小 ScanSize
SCAN TIME max s 最大 ScanTime
 mean s 平均 ScanTime
 min s 最小 ScanTime
Bulkload 延迟 99th_percentile ms Bulkload 延迟
  999th_percentile ms
Append 延迟 99th_percentile ms Append 延迟
  999th_percentile ms
Delete 延迟 99th_percentile ms Delete 延迟
  999th_percentile ms
MultiGet 延迟 99th_percentile ms MultiGet 延迟
  999th_percentile ms
Get 延迟 99th_percentile ms Get 延迟
  999th_percentile ms
PutBatch 延迟 99th_percentile ms PutBatch 延迟
  999th_percentile ms
Put 延迟 99th_percentile ms Put 延迟
  999th_percentile ms
Increment 延迟 99th_percentile ms Increment 延迟
  999th_percentile ms
Compacted Count 速率 MinorCompactedCells 个/s 平均每秒 minor compacted cells 数
 MajorCompactedCells 个/s 平均每秒 major compacted cells 数
Compacted Size 速率 MinorCompactedCells bytes/s 平均每秒 minor compacted cells 大小
 MajorCompactedCells bytes/s 平均每秒 major compacted cells 大小
Region 本地化 percentFilesLocal % Region HFile 位于本地 HDFS data node 的比例
平均延时 updatesBlockedTime ms Memstore 可 flush 前的更新阻塞时间
pauseThresholdExceeded info count INFO 级别暂停警报计数
 warn count WARN 级别暂停警报计数
非 GC 造成停顿操作数 ops count 非 GC 造成停顿操作数
非 GC 造成停顿最大时长 max ms 非 GC 造成停顿最大时长
GC 造成停顿操作数 ops count GC 造成停顿操作数
GC 造成停顿最大时长 max ms GC 造成停顿最大时长
L1缓存每秒命中数 l1HitCount count/s L1缓存每秒命中数
L1缓存每秒未命中数 l1MissCount count/s L1缓存每秒未命中数
L1缓存命中率 l1HitRatio % L1缓存命中率
L2缓存每秒命中数 l2HitCount count/s L2缓存每秒命中数
L2缓存每秒未命中数 l2MissCount count/s L2缓存每秒未命中数
L2缓存命中率 l2HitRatio % L2缓存命中率
数据同步延迟时间 ageOfLastShippedOp ms 源集群最后一次成功复制的 WAL 日志操作的延迟
 Sink_ageOfLastAppliedOp_max ms 上一次成功应用来自源集群的复制操作的延迟
WAL 文件同步数量 source_sizeOfLogQueue 个 源集群复制队列中待处理的WAL文件数量
 source_completedLogs 个 已完成确认发送到关联节点的预写式日志文件数量
 source_uncleanlyClosedLogs 个 在面对未正常关闭的文件时，复制系统认为已完成的预写式日志文件数量
 source_ignoredUncleanlyClosedLogContentsInBytes bytes 当 WAL 文件未正常关闭时，复制系统认为在跳过的文件末尾剩余的、部分序列化的条目字节数
 source_restartedLogReading 次 复制系统检测到无法正确解析正常关闭的WAL文件的次数
 source_closedLogsWithUnknownFileLength 个 复制系统认为已到达文件末尾，但无法确定文件长度的 WAL 文件数量
操作同步数量 source_shippedOps 个 已传输的变更操作数量
 source_logEditsRead 个 源集群从 WAL 文件中读取的变更操作数量
数据同步恢复队列数量 source_completedRecoverQueues 个 源集群 RS 崩溃后已完成同步的恢复队列数量

四、HBase-Thrift

标题 指标名称 指标单位 指标含义
GC 次数 YGC 次 Young GC 次数
 FGC 次 Full GC 次数
GC 时间 FGCT s Full GC 消耗时间
 GCT s 垃圾回收时间消耗
 YGCT s Young GC 消耗时间
内存区域占比 S0 % Survivor 0区内存使用占比
 E % Eden 区内存使用占比
 CCS % Compressed class space 区内存使用占比
 S1 % Survivor 1区内存使用占比
 O % Old 区内存使用占比
 M % Metaspace 区内存使用占比
JVM 线程数量 ThreadsNew 个 处于 NEW 状态的线程数量
 ThreadsRunnable 个 处于 RUNNABLE 状态的线程数量
 ThreadsBlocked 个 处于 BLOCKED 状态的线程数量
 ThreadsWaiting 个 处于 WAITING 状态的线程数量
 ThreadsTimedWaiting 个 处于 TIMED WAITING 状态的线程数量
 ThreadsTerminated 个 处于 Terminated 状态的线程数量
JVM 日志数量 LogFatal 次 FATAL 级别日志数量
 LogError 次 ERROR 级别日志数量
 LogWarn 次 WARN 级别日志数量
 LogInfo 次 INFO 级别日志数量
JVM 内存 MemNonHeapUsedM MB 进程使用的非堆内存大小
 MemNonHeapCommittedM MB 进程 commit 的非堆内存大小
 MemHeapUsedM MB 进程使用的堆内存大小
 MemHeapCommittedM MB 进程 commit 的堆内存大小
 MemHeapMaxM MB 进程最大的堆内存大小
 MemMaxM MB 进程最大内存大小
堆内存使用率 MemHeapUsedRate % 堆内存使用占比
Thrift 请求队列平均等待耗时 mean ms Thrift 请求队列平均等待耗时
Thrift 请求队列等待长度 len count Thrift 请求队列等待长度
Thrift 累计请求量 ops count Thrift 累计请求量

五、HBase-REST

标题 指标名称 指标单位 指标含义
CPU 利用率 ProcessCpuLoad % CPU利用率
CPU 累计使用时间 ProcessCpuTime ms CPU 累计使用时间
GC 次数 YGC Count Young GC 次数
GC 次数 FGC Count Full GC 次数
GC 时间 FGCT s Full GC 消耗时间
GC 时间 GCT s 垃圾回收时间消耗
GC 时间 YGCT s Young GC 消耗时间
内存区域占比 S0 % Survivor 0区内存使用占比
内存区域占比 E % Eden 区内存使用占比
内存区域占比 CCS % Compressed class space 区内存使用占比
内存区域占比 S1 % Survivor 1区内存使用占比
内存区域占比 O % Old 区内存使用占比
内存区域占比 M % Metaspace 区内存使用占比
JVM 内存 MemHeapUsedM MBytes 已使用的堆内存
JVM 内存 MemNonHeapUsedM MBytes 已使用的堆外内存
JVM 内存 MemHeapCommittedM MBytes 已提交的堆内存
JVM 内存 MemNonHeapCommittedM MBytes 已提交的堆外内存
JVM 内存 MemHeapMaxM MBytes 最大堆内存
JVM 内存 MemMaxM MBytes 进程最大内存大小
堆内存使用率 MemHeapUsedRate % 堆内存使用率
JVM 线程数量 ThreadsNew Count 处于 NEW 状态的线程数量
JVM 线程数量 ThreadsRunnable Count 处于 RUNNABLE 状态的线程数量
JVM 线程数量 ThreadsBlocked Count 处于 BLOCKED 状态的线程数量
JVM 线程数量 ThreadsWaiting Count 处于 WAITING 状态的线程数量
JVM 线程数量 ThreadsTimedWaiting Count 处于 TIMED WAITING 状态的线程数量
JVM 线程数量 ThreadsTerminated Count 处于 Terminated 状态的线程数量
文件描述符数 MaxFileDescriptorCount Count 最大文件描述符数
文件描述符数 OpenFileDescriptorCount Count 打开文件描述符数
JVM 日志数量 LogFatal Count FATAL 级别日志数量
 LogError Count ERROR 级别日志数量
 LogWarn Count WARN 级别日志数量
总请求量 requests Count 请求总数
成功请求量 successfulGet Count 成功的 Get 请求数
 successfulPut Count 成功的 Put 请求数
 successfulDelete Count 成功的 Delete 请求数
 successfulScanCount Count 成功的 Scan 请求数
 successfulAppendCount Count 成功的 Append 操作数
 successfulIncrementCount Count 成功的 Increment 操作数
失败请求量 failedGet Count 失败的 GET 请求数
 failedPut Count 失败的 Put 请求数
 failedDelete Count 失败的 Delete 请求数
 failedScanCount Count 失败的 Scan 请求数
 failedAppendCount Count 失败的 Append 操作数
 failedIncrementCount Count 失败的 Increment 操作数

相关内容：

  1. 弹性 MapReduce YARN 监控指标 这篇简要介绍了腾讯云YARN相关组件，包括ResourceManager、JobHistoryServer、NodeManager和Timeline，未提供详细功能说明或操作步骤。YARN-ResourceManager: 未提供具体描述。YARN-JobHistoryServer: 未提供具体描述。YARN-NodeManager: 未提供具体描述。YARN-Timeline: 未提供具体描述。...
  2. 弹性 MapReduce Kyuubi 监控指标 这里说明了Kyuubi-KyuubiServer的相关内容，但具体信息在提供的文本中并未展示。由于提供的文本内容为空，无法列出。...
  3. 弹性 MapReduce HDFS 监控指标 这篇说说了腾讯云HDFS（Hadoop分布式文件系统）的各个核心组件，包括NameNode、DataNode、JournalNode、ZKFC和Router。每个组件在HDFS架构中扮演不同的角色，共同确保分布式文件系统的高可用性和可靠性。...
  4. 弹性 MapReduce RSS 监控指标 这篇说说了腾讯云的两个组件：RSS-Coordinator和RSS-ShuffleServer。RSS-Coordinator: 负责协调和管理RSS（Resource Sharing System）中的资源分配和调度。RSS-ShuffleServer: 处理数据的分发和重新分配，确保数据在集群中的高效传输和负载均衡。...
  5. 弹性 MapReduce Goosefs 监控指标 这里说明了 Goosefs 的整体架构，包含 Goosefs-Master 和 Goosefs-Worker 两个重要组成部分。Goosefs-Master: 是整个系统的核心控制组件，负责管理和协调整个文件系统的运行。Goosefs-Worker: 执行具体的数据处理和存储任务，在系统中发挥着关键作用。...
  6. 弹性 MapReduce Kafka 监控指标 由于提供的[腾讯云文档]内容为空，无法生成摘要。请提供有效的文档内容以便进行摘要。...
  7. 弹性 MapReduce Hive 监控指标 这篇简要介绍了腾讯云HIVE相关的三个组件：HiveMetaStore、HiveServer2和HiveWebHcat。这些组件是Hive生态系统中的关键服务，分别负责元数据管理、查询执行和Web接口功能。...
  8. 弹性 MapReduce CELEBORN 监控指标 这篇简要介绍了腾讯云文档中关于CELEBORN的两个组件：CELEBORN-Master和CELEBORN-Worker。文档内容较为简洁，未提供详细的功能描述或操作指南。...
赞 (0)
上一篇 4天前
下一篇 4天前