云服务器特惠 99/年起
  1. 腾讯云优惠网首页
  2. 腾讯云产品

弹性 MapReduce HDFS 监控指标

• 腾讯云产品

这篇说说了腾讯云HDFS（Hadoop分布式文件系统）的各个核心组件，包括NameNode、DataNode、JournalNode、ZKFC和Router。每个组件在HDFS架构中扮演不同的角色，共同确保分布式文件系统的高可用性和可靠性。

相关产品
弹性 MapReduce 产品页，含版本规格、价格与购买入口。

一、HDFS-概览

标题 指标名称 指标单位 指标含义
集群存储容量 CapacityTotal GB 集群存储总容量
 CapacityUsed GB 集群存储已使用容量
 CapacityRemaining GB 集群存储剩余容量
 CapacityUsedNonDFS GB 集群非 HDFS 使用容量
集群负载 TotalLoad 1 当前连接数
集群文件总数量 FilesTotal 个 总文件数量
BLOCKS 数量 BlocksTotal 个 总 BLOCK 数量
 PendingReplicationBlocks 个 等待被备份的块数量
 UnderReplicatedBlocks 个 副本数不够的块数量
 CorruptBlocks 个 坏块数量
 ScheduledReplicationBlocks 个 安排要备份的块数量
 PendingDeletionBlocks 个 等待被删除的块数量
 ExcessBlocks 个 多余的块数量
 PostponedMisreplicatedBlocks 个 被推迟处理的异常块数量
BLOCK 容量 BlockCapacity 个 BLOCK 容量
集群数据节点 NumLiveDataNodes 个 活的数据节点数量
 NumDeadDataNodes 个 已经标记为 Dead 状态的数据节点数量
 NumDecomLiveDataNodes 个 下线且 Live 的节点数量
 NumDecomDeadDataNodes 个 下线且 Dead 的节点数量
 NumDecommissioningDataNodes 个 正在下线的节点数量
 NumStaleDataNodes 个 标记为过期状态的 DataNode 数目
HDFS 存储空间使用率 CapacityUsedRate 个 HDFS 集群存储空间使用率
SNAPSHOT 相关 Snapshots 次 Snapshots 数量
磁盘故障 VolumeFailuresTotal 次 所有 DataNodes 的卷故障总数
Blocks 数量 MissingReplicatedBlocks count 丢失的副本块数量
HDFS 慢 DataNode SlowDataNode – 慢 DataNode ip 地址
HDFS 慢磁盘 SlowDisks – 对 datanode 一个挂载点读/写/元数据操作的延迟

二、HDFS-NameNode

标题 指标名称 指标单位 指标含义
JVM 内存 MemNonHeapUsedM MB JVM 当前已经使用的 NonHeapMemory 的大小
 MemNonHeapCommittedM MB JVM 配置的 NonHeapCommittedM 的大小
 MemHeapUsedM MB JVM 当前已经使用的 HeapMemory 的大小
 MemHeapCommittedM MB JVM HeapMemory 提交大小
 MemHeapMaxM MB JVM 配置的 HeapMemory 的大小
 MemMaxM MB JVM 运行时可以使用的最大内存大小
堆内存使用率 MemHeapUsedRate % JVM 当前已经使用的 HeapMemory 的数量所占 JVM 配置的 HeapMemory 的数量的百分比
数据块汇报延迟 BlockReportAvgTime 次/s 每秒处理 DataNode Block 平均延迟
JVM 线程数量 ThreadsNew 个 处于 NEW 状态的线程数量
 ThreadsRunnable 个 处于 RUNNABLE 状态的线程数量
 ThreadsBlocked 个 处于 BLOCKED 状态的线程数量
 ThreadsWaiting 个 处于 WAITING 状态的线程数量
 ThreadsTimedWaiting 个 处于 TIMED WAITING 状态的线程数量
 ThreadsTerminated 个 处于 Terminated 状态的线程数量
JVM 日志数量 LogFatal 个 FATAL级别日志数量
 LogError 个 ERROR 级别日志数量
 LogWarn 个 WARN 级别日志数量
 LogInfo 个 INFO 级别日志数量
GC 次数 YGC 次 Young GC 次数
 FGC 次 Full GC 次数
GC 时间 FGCT s Full GC 消耗时间
 GCT s 垃圾回收时间消耗
 YGCT s Young GC 消耗时间
内存区域占比 S0 % Survivor 0区内存使用占比
 S1 % Survivor 1区内存使用占比
 E % Eden 区内存使用占比
 O % Old 区内存使用占比
 M % Metaspace 区内存使用占比
 CCS % Compressed class space 区内存使用占比
被标记为过期的存储的数量 NumStaleStorages 个 所有过期 DataNode 的存储总数
备 NN 上挂起的与 BLOCK 相关操作的消息数量 PendingDataNodeMessageCount 个/s DataNode 的请求被 QUEUE 在 standby NameNode 中的个数
缺失块统计 NumberOfMissingBlocks 个 缺失的数据块数量
 NumberOfMissingBlocksWithReplicationFactorOne 个 缺失的数据块数量（rf = 1）
SNAPSHOT 操作 AllowSnapshotOps 次/s 每秒执行 AllowSnapshot 操作的次数
 DisallowSnapshotOps 次/s 每秒执行 DisallowSnapshot 操作的次数
 CreateSnapshotOps 次/s 每秒执行 CreateSnapshot 操作的次数
 DeleteSnapshotOps 次/s 每秒执行 DeleteSnapshot 操作的次数
 ListSnapshottableDirOps 次/s 每秒执行 ListSnapshottableDir 操作次数
 SnapshotDiffReportOps 次/s 每秒执行 SnapshotDiffReportOps 的次数
 RenameSnapshotOps 次/s 每秒执行 RenameSnapshotOps 的次数
文件操作 CreateFileOps 次/s 每秒执行 CreateFile 操作的次数
 GetListingOps 次/s 每秒执行 GetListing 操作的次数
 TotalFileOps 次/s 每秒执行 TotalFileOps 的次数
 DeleteFileOps 次/s 每秒执行 DeleteFile 操作的次数
 FileInfoOps 次/s 每秒执行 FileInfo 操作的次数
 GetAdditionalDatanodeOps 次/s 每秒执行 GetAdditionalDatanode 操作的次数
 CreateSymlinkOps 次/s 每秒执行 CreateSymlink 操作的次数
 GetLinkTargetOps 次/s 每秒执行 GetLinkTarget 操作的次数
 FilesInGetListingOps 次/s 每秒执行 FilesInGetListing 操作的次数
文件统计 FilesDeleted count 文件和文件夹被删除或重命名的数量
 FilesCreated count 文件和文件夹创建数量
 FilesAppended count Appended 文件数量
文件数量 FilesTotal count 文件数量
事务操作 TransactionsNumOps 次/s 每秒处理 Journal transaction 操作的次数
 TransactionsBatchedInSync 次/s 每秒批量处理 Journal transaction 操作次数
镜像操作 GetEditNumOps 次/s 每秒执行 GetEditNumOps 的次数
 GetImageNumOps 次/s 每秒执行 GetImageNumOps 的次数
 PutImageNumOps 次/s 每秒执行 PutImageNumOps 的次数
SYNC 操作 SyncsNumOps 次/s 每秒处理 Journal syncs 操作的次数
数据块操作 BlockReceivedAndDeletedOps 次/s 每秒执行 BlockReceivedAndDeletedOps 的次数
 BlockOpsQueued 次/s 处理 DataNode Block 上报操作的次数
缓存汇报 CacheReportNumOps 次/s 每秒处理 CacheReport 操作的次数
数据块汇报 BlockReportNumQps 次/s 每秒处理 DataNode Block 上报操作的次数
SYNCS 操作延迟 SyncsAvgTime ms 处理 Journal syncs 操作的平均延迟
Cache 汇报延迟 CacheReportAvgTime ms 缓存上报动作平均延迟
镜像操作延迟 GetEditAvgTime ms 读取 Edit 文件操作平均延迟
 GetImageAvgTime ms 读取镜像文件平均延迟
 PutImageAvgTime ms 写入镜像文件平均延迟
事务操作延迟 TransactionsAvgTime ms 处理 Journal Transaction 操作的平均延迟
启动时间 StartTime ms 进程启动时间
主备情况 State 1 NameNode HA 状态
主备情况 State 1：主0：备 NameNode 主备情况
线程数量 PeakThreadCount 个 峰值线程数
 ThreadCount 个 线程数量
 DaemonThreadCount 个 后台线程数量
上次 Checkpoint 以来事务总数 SinceLastCheckpoint count 自上次检查点以来的总事务数
Checkpoint 时间 LastCheckpoint time 上次 Checkpoint 以来的时间
等待文件锁的队列长度 LockQueueLength count LockQueueLength 等待文件锁的队列长度
BLOCKS数量 BlocksTotal count BLOCK 数量
 PendingReplicationBlocks count 等待被备份的块数量
 UnderReplicatedBlocks count 副本数不够的块数量
 CorruptBlocks count 坏块数量
 ScheduledReplicationBlocks count 安排要备份的块数量
 PendingDeletionBlocks count 等待被删除的块数量
 ExcessBlocks count 多余的块数量
 PostponedMisreplicatedBlocks count 被推迟处理的异常块数量
正在写入的文件数量 NumFilesUnderConstruction count 正在写入的文件数量
数据流量 QPS（Client RPC） ReceivedBytes Bytes/s 接收数据速率
 SentBytes Bytes/s 发送数据速率
QPS（Client RPC） RpcQueueTimeNumOps count/s RPC 调用速率
请求处理延迟（Client RPC） RpcQueueTimeAvgTime ms RPC 平均延迟时间
 RpcProcessingTimeAvgTime ms RPC 请求平均处理时间
验证和授权（Client RPC） RpcAuthenticationFailures count RPC 验证失败次数
 RpcAuthenticationSuccesses count RPC 验证成功次数
 RpcAuthorizationFailures count RPC 授权失败次数
 RpcAuthorizationSuccesses count RPC 授权成功次数
当前连接数（Client RPC） NumOpenConnections count 当前连接数量
RPC 处理队列长度（Client RPC） CallQueueLength count 当前 RPC 处理队列长度
数据流量(Service RPC) ReceivedBytes Bytes/s Service RPC 接收数据速率
 SentBytes Bytes/s Service RPC 发送数据速率
QPS(Service RPC) RpcQueueTimeNumOps count/s Service RPC 调用速率
请求处理延迟(Service RPC) RpcQueueTimeAvgTime ms Service RPC 平均延迟时间
 RpcProcessingTimeAvgTime ms Service RPC 请求平均处理时间
验证和授权 (Service RPC) RpcAuthenticationFailures count Service RPC 验证失败次数
 RpcAuthenticationSuccesses count Service RPC 验证成功次数
 RpcAuthorizationFailures count Service RPC 授权失败次数
 RpcAuthorizationSuccesses count Service RPC 授权成功次数
当前连接数(Service RPC) NumOpenConnections count 当前Service RPC连接数量
RPC处理队列长度(Service RPC) CallQueueLength count 当前 Service RPC 处理队列长度
RPC 平均时间（NameNode RPC） CompleteAvgTime ms Complete 请求平均延迟时间
 CreateAvgTime ms Create 请求平均延迟时间
 RenameAvgTime ms Rename 请求平均延迟时间
 AddBlockAvgTime ms AddBlock 请求平均延迟时间
 GetListingAvgTime ms GetListing 请求平均延迟时间
 GetFileInfoAvgTime ms GetFileInfo 请求平均延迟时间
 SendHeartbeatAvgTime ms SendHeartbeat 请求平均延迟时间
RPC 平均时间（NameNode RPC） RegisterDatanodeAvgTime ms RegisterDatanode 请求平均延迟时间
 BlockReportAvgTime ms BlockReport 请求平均延迟时间
 DeleteAvgTime ms Delete 请求平均延迟时间
 RenewLeaseAvgTime ms RenewLease 请求平均延迟时间
 BlockReceivedAndDeletedAvgTime ms BlockReceivedAndDeleted 请求平均延迟时间
 FsyncAvgTime ms Fsync 请求平均延迟时间
 VersionRequestAvgTime ms VersionRequest 请求平均延迟时间
RPC 平均时间（NameNode RPC） ListEncryptionZonesAvgTime ms ListEncryptionZones 请求平均延迟时间
 SetPermissionAvgTime ms SetPermission 请求平均延迟时间
 SetTimesAvgTime ms SetTimes 请求平均延迟时间
 SetSafeModeAvgTime ms SetSafeMode 请求平均延迟时间
 MkdirsAvgTime ms Mkdirs 请求平均延迟时间
 GetServerDefaultsAvgTime ms GetServerDefaults 请求平均延迟时间
 GetBlockLocationsAvgTime ms GetBlockLocations 请求平均延迟时间
RPC 统计（NameNode RPC） CompleteNumOps 次/s 每秒调用 Complete 的次数
 CreateNumOps 次/s 每秒调用 Create 的次数
 RenameNumOps 次/s 每秒调用 Rename 的次数
 AddBlockNumOps 次/s 每秒调用 AddBlock 的次数
 GetListingNumOps 次/s 每秒调用 GetListing 的次数
 GetFileInfoNumOps 次/s 每秒调用 GetFileInfo 的次数
 SendHeartbeatNumOps 次/s 每秒调用 SendHeartbeat 的次数
RPC 统计（NameNode RPC） RegisterDatanodeNumOps 次/s 每秒调用 RegisterDatanode 的次数
 BlockReportNumOps 次/s 每秒调用 BlockReport 的次数
 DeleteNumOps 次/s 每秒调用 Delete 的次数
 RenewLeaseNumOps 次/s 每秒调用 RenewLease 的次数
 BlockReceivedAndDeletedNumOps 次/s 每秒调用 BlockReceivedAndDeleted 的次数
 FsyncNumOps 次/s 每秒调用 Fsync 的次数
 VersionRequestNumOps 次/s 每秒调用 VersionRequest 的次数
RPC 统计（NameNode RPC） ListEncryptionZonesNumOps 次/s 每秒调用 ListEncryptionZones 的次数
 SetPermissionNumOps 次/s 每秒调用 SetPermission 的次数
 SetTimesNumOps 次/s 每秒调用 SetTimes 的次数
 SetSafeModeNumOps 次/s 每秒调用 SetSafeMode 的次数
 MkdirsNumOps 次/s 每秒调用 Mkdirs 的次数
 GetServerDefaultsNumOps 次/s 每秒调用 GetServerDefaults 的次数
 GetBlockLocationsNumOps 次/s 每秒调用 GetBlockLocations 的次数
Blocks 数量 MissingReplicatedBlocks count 丢失的副本块数量
审计日志写入ES失败次数 WriteEsFailed Count 审计日志写入ES失败次数
审计日志写入ES成功次数 WriteEsSuccess Count 审计日志写入ES成功次数
平均锁等待时间 RpcLockWaitTimeAvgTime ms 平均锁等待时间（毫秒）
获取块的平均时间 GetBlocksAvgTime ms 获取块的平均时间（毫秒）
所有锁操作持有锁的平均时间 Read μs 所有读锁操作持有锁的平均时间（以微秒为单位）
 Write μs 所有写锁操作持有锁的平均时间（以微秒为单位）
数据目录数 active Count 当前正在使用的NameNode数据目录
 failed Count 无法正常访问或损坏的目录

三、HDFS-DataNode

标题 指标名称 指标单位 指标含义
Xceiver 数量 XceiverCount 个 Xceiver 数量
数据读写速率 BytesWrittenMB Bytes/s 写入 DN 的字节速率
 BytesReadMB Bytes/s 读取 DN 的字节速率
 RemoteBytesReadMB Bytes/s 远程客户端读取字节速率
 RemoteBytesWrittenMB Bytes/s 远程客户端写入字节速率
客户端连接数 WritesFromRemoteClient 个 来自远程客户端写操作 QPS
 WritesFromLocalClient 个 来自本地客户端写操作 OPS
 ReadsFromRemoteClient 个 来自远程客户端读操作 QPS
 ReadsFromLocalClient 个 来自本地客户端读操作 QPS
Block校验失败 BlockVerificationFailures 次/s BLOCK 校验失败数量
磁盘故障 VolumeFailures 次/s 磁盘故障次数
网络错误 DatanodeNetworkErrors 次/s 网络错误统计
心跳延迟 HeartbeatsAvgTime ms 心跳接口平均时间
心跳 QPS HeartbeatsNumOps 次/s 心跳接口 QPS
包传输操作RT SendDataPacketTransferNanosAvgTime ms 发送数据包平均时间
数据块操作 ReadBlockOpNumOps 次/s 从 DataNode 读取 Block OPS
 WriteBlockOpNumOps 次/s 向 DataNode 写入 Block OPS
 BlockChecksumOpNumOps 次/s DataNode 进行 Checksum 操作的 OPS
 CopyBlockOpNumOps 次/s 复制 Block 操作的 OPS
 ReplaceBlockOpNumOps 次/s Replace Block 操作的 OPS
 BlockReportsNumOps 次/s BLOCK 汇报动作的 OPS
 IncrementalBlockReportsNumOps 次/s BLOCK 增量汇报的 OPS
 CacheReportsNumOps 次/s 缓存汇报的 OPS
 PacketAckRoundTripTimeNanosNumOps 次/s 每秒处理 ACK ROUND TRIP 次数
FSYNC 操作 FsyncNanosNumOps 次/s 每秒处理 FSYNC 操作次数
FLUSH 操作 FlushNanosNumOps 次/s 每秒处理 Flush 操作次数
数据块操作延迟统计 ReadBlockOpAvgTime ms 读取 Block 操作平均时间
 WriteBlockOpAvgTime ms 写 Block 操作平均时间
 BlockChecksumOpAvgTime ms 块校验操作平均时间
 CopyBlockOpAvgTime ms 复制块操作平均时间
 ReplaceBlockOpAvgTime ms Replace Block 操作平均时间
 BlockReportsAvgTime ms 块汇报平均时间
 IncrementalBlockReportsAvgTime ms 增量块汇报平均时间
 CacheReportsAvgTime ms 缓存汇报平均时间
 PacketAckRoundTripTimeNanosAvgTime ms 处理 ACK ROUND TRIP 平均时间
FLUSH 延迟 FlushNanosAvgTime ns Flush 操作平均时间
FSYNC 延迟 FsyncNanosAvgTime ns Fsync 操作平均时间
RAMDISK Blocks RamDiskBlocksWrite 块/s 写入内存的块的总数
 RamDiskBlocksWriteFallback 块/s 写入内存但未成功的块总数（故障转移到磁盘）
 RamDiskBlocksDeletedBeforeLazyPersisted 块/s 应用程序在被保存到磁盘之前被删除的块的总数
 RamDiskBlocksReadHits 块/s 内存中的块被读取的总次数
 RamDiskBlocksEvicted 块/s 内存中被清除的块总数
 RamDiskBlocksEvictedWithoutRead 块/s 从内存中取出的内存块总数
 RamDiskBlocksLazyPersisted 块/s 惰性写入器写入磁盘的总数
 RamDiskBytesLazyPersisted Bytes/s 由惰性写入器写入磁盘的总字节数
RAMDISK 写入速度 RamDiskBytesWrite Bytes/s 写入内存的总字节数
JVM 内存 MemNonHeapUsedM MB JVM 当前已经使用的 NonHeapMemory 的大小
 MemNonHeapCommittedM MB JVM 配置的 NonHeapCommittedM 的大小
 MemHeapUsedM MB JVM 当前已经使用的 HeapMemory 的大小
 MemHeapCommittedM MB JVM HeapMemory 提交大小
 MemHeapMaxM MB JVM 配置的 HeapMemory 的大小
 MemMaxM MB JVM 运行时可以使用的最大内存大小
堆内存使用率 MemHeapUsedRate % JVM 当前已经使用的 HeapMemory 的数量所占 JVM 配置的 HeapMemory 的数量的百分比
JVM 线程数量 ThreadsNew 个 处于 NEW 状态的线程数量
 ThreadsRunnable 个 处于 RUNNABLE 状态的线程数量
 ThreadsBlocked 个 处于 BLOCKED 状态的线程数量
 ThreadsWaiting 个 处于 WAITING 状态的线程数量
 ThreadsTimedWaiting 个 处于 TIMED WAITING 状态的线程数量
 ThreadsTerminated 个 处于 Terminated 状态的线程数量
JVM 日志数量 LogFatal 个 Fatal 日志数量
 LogError 个 Error 日志数量
 LogWarn 个 Warn 日志数量
 LogInfo 个 Info 日志数量
GC 次数 YGC 次 Young GC 次数
 FGC 次 Full GC 次数
GC 时间 FGCT s Full GC 消耗时间
 GCT s 垃圾回收时间消耗
 YGCT s Young GC 消耗时间
内存区域占比 S0 % Survivor 0区内存使用占比
 E % Eden 区内存使用占比
 CCS % Compressed class space 区内存使用占比
 S1 % Survivor 1区内存使用占比
 O % Old 区内存使用占比
 M % Metaspace 区内存使用占比
数据速率 ReceivedBytes Bytes/s 接收数据速率
 SentBytes Bytes/s 发送数据速率
QPS RpcQueueTimeNumOps 次/s RPC 调用速率
请求处理延迟 RpcQueueTimeAvgTime ms RPC 平均延迟时间
 RpcProcessingTimeAvgTime 次/s RPC 请求平均处理时间
验证和授权 RpcAuthenticationFailures 次/s RPC 验证失败次数
 RpcAuthenticationSuccesses 次/s RPC 验证成功次数
 RpcAuthorizationFailures 次/s RPC 授权失败次数
 RpcAuthorizationSuccesses 次/s RPC 授权成功次数
当前连接数 NumOpenConnections 个 当前链接数量
RPC 处理队列长度 CallQueueLength 1 当前 RPC 处理队列长度
CPU 时间 CurrentThreadSystemTime ms 系统时间
 CurrentThreadUserTime ms 用户时间
启动时间 StartTime s 进程启动时间
线程数量 PeakThreadCount 个 峰值线程数量
 DaemonThreadCount 个 后台线程数量
读写延迟 write ms 写操作耗时
 read ms 读操作耗时
包传输操作 QPS DataPacketOps 次/s 包传输操作 QPS
Block 数量 跟盘信息相关例如：/data/qcloud/data/hdfs 个 Block 数量
使用磁盘容量 跟盘信息相关例如：/data/qcloud/data/hdfs GB 使用磁盘容量
空闲磁盘容量 跟盘信息相关例如：/data/qcloud/data/hdfs GB 空闲磁盘容量
预留磁盘容量 跟盘信息相关例如：/data/qcloud/data/hdfs GB 预留磁盘容量

四、HDFS-JournalNode

标题 指标名称 指标单位 指标含义
JVM 内存 MemNonHeapUsedM MB JVM 当前已经使用的 NonHeapMemory 的大小
 MemNonHeapCommittedM MB JVM 配置的 NonHeapCommittedM 的大小
 MemHeapUsedM MB JVM 当前已经使用的 HeapMemory 的大小
 MemHeapCommittedM MB JVM HeapMemory 提交大小
 MemHeapMaxM MB JVM 配置的 HeapMemory 的大小
 MemMaxM MB JVM 运行时可以使用的最大内存大小
堆内存使用率 MemHeapUsedRate % JVM 当前已经使用的 HeapMemory 的数量所占 JVM 配置的 HeapMemory 的数量的百分比
JVM 线程数量 ThreadsNew 个 处于 NEW 状态的线程数量
 ThreadsRunnable 个 处于 RUNNABLE 状态的线程数量
 ThreadsBlocked 个 处于 BLOCKED 状态的线程数量
 ThreadsWaiting 个 处于 WAITING 状态的线程数量
 ThreadsTimedWaiting 个 处于 TIMED WAITING 状态的线程数量
 ThreadsTerminated 个 处于 Terminated 状态的线程数量
JVM 日志数量 LogFatal 个 FATAL 级别日志数量
 LogError 个 ERROR 级别日志数量
 LogWarn 个 WARN 级别日志数量
 LogInfo 个 INFO 级别日志数量
GC 次数 YGC 次 Young GC 次数
 FGC 次 Full GC 次数
GC 时间 FGCT s Full GC 消耗时间
 GCT s 垃圾回收时间消耗
 YGCT s Young GC 消耗时间
内存区域占比 S0 % Survivor 0区内存使用占比
 E % Eden 区内存使用占比
 CCS % Compressed class space 区内存使用占比
 S1 % Survivor 1区内存使用占比
 O % Old 区内存使用占比
 M % Metaspace 区内存使用占比
数据流量 ReceivedBytes Bytes/s 接收数据速率
 SentBytes Bytes/s 发送数据速率
请求处理延迟 RpcQueueTimeAvgTime ms RPC 平均延迟时间
验证和授权 RpcAuthenticationFailures 次/s RPC 验证失败次数
 RpcAuthenticationSuccesses 次/s RPC 验证成功次数
 RpcAuthorizationFailures 次/s RPC 授权失败次数
 RpcAuthorizationSuccesses 次/s RPC 授权成功次数
当前连接数 NumOpenConnections 个 当前连接数量
RPC处理队列长度 CallQueueLength 1 当前 RPC 处理队列长度
CPU 时间 CurrentThreadSystemTime ms 系统时间
 CurrentThreadUserTime ms 用户时间
启动时间 StartTime s 进程启动时间
线程数量 PeakThreadCount 个 峰值线程数量
 DaemonThreadCount 个 后台线程数量

五、HDFS-ZKFC

标题 指标名称 指标单位 指标含义
GC 次数 YGC 次 Young GC 次数
 FGC 次 Full GC 次数
GC 时间 FGCT s Full GC 消耗时间
 GCT s 垃圾回收时间消耗
 YGCT s Young GC 消耗时间
内存区域占比 S0 % Survivor 0区内存使用占比
 E % Eden 区内存使用占比
 CCS % Compressed class space 区内存使用占比
 S1 % Survivor 1区内存使用占比
 O % Old 区内存使用占比
 M % Metaspace 区内存使用占比

六、HDFS-Router

标题 指标名称 指标单位 指标含义
GC 次数 YGC count Young GC 次数
 FGC count Full GC 次数
GC 时间 FGCT s Full GC 消耗时间
 GCT s 垃圾回收时间消耗
 YGCT s Young GC 消耗时间
内存区域占比 S0 % Survivor 0区内存使用占比
 E % Eden 区内存使用占比
 CCS % Compressed class space 区内存使用占比
 S1 % Survivor 1区内存使用占比
 O % Old 区内存使用占比
 M % Metaspace 区内存使用占比
JVM 线程数量 ThreadsNew count 处于 NEW 状态的线程数量
 ThreadsRunnable count 处于 RUNNABLE 状态的线程数量
 ThreadsBlocked count 处于 BLOCKED 状态的线程数量
 ThreadsWaiting count 处于 WAITING 状态的线程数量
 ThreadsTimedWaiting count 处于 TIMED WAITING 状态的线程数量
 ThreadsTerminated count 处于 Terminated 状态的线程数量
JVM 日志数量 LogFatal count FATAL 级别日志数量
 LogError count ERROR 级别日志数量
 LogWarn count WARN 级别日志数量
 LogInfo count INFO 级别日志数量
JVM 内存 MemNonHeapUsedM MB 进程使用的非堆内存大小
 MemNonHeapCommittedM MB 进程 commit 的非堆内存大小
 MemHeapUsedM MB 进程使用的堆内存大小
 MemHeapCommittedM MB 进程 commit 的堆内存大小
 MemHeapMaxM MB 进程最大的堆内存大小
 MemMaxM MB 进程最大内存大小
线程数量 DaemonThreadCount count 进程的 Daemon 线程数
 ThreadCount count 进程的线程数
 PeakThreadCount count 进程的 Peak 线程数
数据流量 ReceivedBytes Bytes/s 接收数据速率
 SentBytes Bytes/s 发送数据速率
QPS RpcQueueTimeNumOps 次/s RPC 调用速率
请求处理延迟 RpcQueueTimeAvgTime ms RPC 平均延迟时间
 RpcProcessingTimeAvgTime ms RPC 请求平均处理时间
验证和授权 RpcAuthenticationFailures count RPC验证失败次数
 RpcAuthenticationSuccesses count RPC 验证成功次数
 RpcAuthorizationFailures count RPC 授权失败次数
 RpcAuthorizationSuccesses count RPC 授权成功次数
当前连接数 NumOpenConnections count 当前连接数量
RPC 处理队列长度 CallQueueLength count 当前 RPC 处理队列长 度
堆内存使用率 MemHeapUsedRate % 堆内存使用占比
文件数量 NumFiles count 当前文件和目录的数量
nameservices 数量 NumNameservices count nameservices 的数量
namenodes 数量 NumExpiredNamenodes count 过期的 namenodes 的数量
 NumNamenodes count namenodes 的数量
Router 操作数 ProcessingOp count/s 每秒 Router 内部处理的 操作数
 ProxyOp count/s 每秒 Router 代理到 Namenode 的操作数量
失败请求数 RouterFailureStateStore count/s 每秒由于状态存储不可用而导致的失败请求数
 RouterFailureReadOnly count/s 每秒由于只读挂载点而导致的失败请求数
 RouterFailureLocked count/s 每秒由于路径锁定而导致的失败请求数
 RouterFailureSafemode count/s 每秒由于安全模式而导致的失败请求数
Router 处理操作平均时间 ProcessingAvgTime ns Router 处理操作的平均时间
 ProxyAvgTime ns Router 代理操作到 Namenodes 的平均时间
StateStore 事务操作 ReadsNumOps count/s 每秒 GET 事务数
 WritesNumOps count/s 每秒 PUT 事务数
 RemovesNumOps count/s 每秒 REMOVE 事务数
 FailuresNumOps count/s 每秒失败事务数
StateStore 事务操作平均时间 ReadsAvgTime ms State Store 的 GET 事务平均时间
 WritesAvgTime ms State Store 进行 PUT 事务的平均时间
 RemovesAvgTime ms State Store 进行 REMOVE 事务的平均时间
 FailuresAvgTime ms State Store 失败事务的平均时间

相关内容：

  1. 弹性 MapReduce Kyuubi 监控指标 这里说明了Kyuubi-KyuubiServer的相关内容，但具体信息在提供的文本中并未展示。由于提供的文本内容为空，无法列出。...
  2. 弹性 MapReduce HBase 监控指标 这篇简要介绍了腾讯云HBase相关组件，包括HBase的概览、HMaster、RegionServer、Thrift和REST接口。HBASE-概览: HBase的基本介绍和整体架构概述。HBASE-HMaster: HBase的主节点功能，负责管理表和Region的分配。HBASE-RegionServer: HBase的数据存储和读写服务节点，处理客户端请求。HBase-Thrift: 通过Thrift接口访问H。...
  3. 弹性 MapReduce Druid 监控指标 这里说明了腾讯云的 Druid 相关组件，包括 Druid-broker、Druid-coordinator、Druid-historical、Druid-middleManager、Druid-overlord 和 Druid-router。组件介绍: 分别对 Druid 的各个组件进行了列举，但未详细阐述其具体功能和特点。...
  4. 弹性 MapReduce Kafka 监控指标 由于提供的[腾讯云文档]内容为空，无法生成摘要。请提供有效的文档内容以便进行摘要。...
  5. 弹性 MapReduce RSS 监控指标 这篇说说了腾讯云的两个组件：RSS-Coordinator和RSS-ShuffleServer。RSS-Coordinator: 负责协调和管理RSS（Resource Sharing System）中的资源分配和调度。RSS-ShuffleServer: 处理数据的分发和重新分配，确保数据在集群中的高效传输和负载均衡。...
  6. 弹性 MapReduce YARN 监控指标 这篇简要介绍了腾讯云YARN相关组件，包括ResourceManager、JobHistoryServer、NodeManager和Timeline，未提供详细功能说明或操作步骤。YARN-ResourceManager: 未提供具体描述。YARN-JobHistoryServer: 未提供具体描述。YARN-NodeManager: 未提供具体描述。YARN-Timeline: 未提供具体描述。...
  7. 弹性 MapReduce Trino 监控指标 这篇简要介绍了腾讯云TRINO服务的两个核心组件：TRINO-WORKER和TRINO-Coordinator。文档未提供详细内容，仅列出了这两个组件的名称。...
  8. 弹性 MapReduce PrestoSQL 监控指标 这里说明了腾讯云 PrestoSQL 的部分内容，包括其指标支持的版本，以及对 PrestoSQL - Worker 和 PrestoSQL - Coordinator 的简单提及。PrestoSQL 版本支持: PrestoSQL 指标目前仅支持 PrestoSQL322 和 PrestoSQL350 及以上版本。PrestoSQL 组成: 提到了 PrestoSQL - Worker 和 PrestoSQL 。...
赞 (0)
上一篇 4天前
下一篇 4天前