云服务器特惠 99/年起
  1. 腾讯云优惠网首页
  2. 腾讯云产品

弹性 MapReduce CELEBORN 监控指标

• 腾讯云产品

这篇简要介绍了腾讯云文档中关于CELEBORN的两个组件：CELEBORN-Master和CELEBORN-Worker。文档内容较为简洁，未提供详细的功能描述或操作指南。

相关产品
弹性 MapReduce 产品页，含版本规格、价格与购买入口。

一、CELEBORN-Master

标题 指标名称 指标单位 指标含义
Woker数量 WorkerCount Count 可注册shuffle的worker数量
 ExcludedWorkerCount Count 排除列表中的worker数量
 LostWorkerCount Count 丢失的worker数量
Registere shuffle数量 RegisteredShuffleCount Count 已注册的shuffle数量
Master状态 IsActiveMaster None 当前主节点是否处于活跃状态
Estimated Shuffle Partition大小 PartitionSize Bytes 估计的shuffle分区大小
Handle RequestSlots Request时间 OfferSlotsTime_Mean ms 主节点在注册shuffle时处理RequestSlots请求的平均时间
 OfferSlotsTime_Max ms 主节点在注册shuffle时处理RequestSlots请求的最大时间
Last Minute System Load LastMinuteSystemLoad None 上一分钟的平均系统负载
Available Processors数量 AvailableProcessors Count 系统可用的cpu数量
CPU利用率 ProcessCpuLoad % CPU利用率
CPU累计使用时间 ProcessCpuTime ms CPU 累计使用时间
GC次数 YGC Count Young GC 次数
 FGC Count Full GC 次数
GC时间 FGCT s Full GC 消耗时间
 GCT s 垃圾回收时间消耗
 YGCT s Young GC 消耗时间
内存区域占比 S0 % Survivor 0区内存使用占比
 E % Eden 区内存使用占比
 CCS % Compressed class space 区内存使用占比
 S1 % Survivor 1区内存使用占比
 O % Old 区内存使用占比
 M % Metaspace 区内存使用占比
JVM内存 MemHeapUsedM MBytes 已使用的堆内存
 MemNonHeapUsedM MBytes 已使用的堆外内存
 MemHeapCommittedM MBytes 已提交的堆内存
 MemNonHeapCommittedM MBytes 已提交的堆外内存
 MemHeapMaxM MBytes 最大堆内存
堆内存使用率 MemHeapUsedRate % 堆内存使用率
JVM线程数量 PeakThreadCount Count 峰值线程数
 ThreadCount Count 总线程数量
 DaemonThreadCount Count Daemon线程数量
Running Application数量 RunningApplicationCount Count Running Application数量
Active Shuffle大小 ActiveShuffleSize Byte Active Shuffle大小
Active Shuffle File数量 ActiveShuffleFileCount Count Active Shuffle File数量

二、CELEBORN-Worker

标题 指标名称 指标单位 指标含义
Slots allocated数量 SlotsAllocated Count 过去一小时分配的插槽数
Reserve Slots时间 ReserveSlotsTime_Mean ms 预留插槽（获取磁盘缓冲区并记录分区位置）的平均值
 ReserveSlotsTime_Max ms 预留插槽（获取磁盘缓冲区并记录分区位置）的最大值
Pause Push Data次数 PausePushData None 因背压导致worker停止从客户端接收推送数据的次数
Pause Push Data And Replicate 次数 PausePushDataAndReplicate None 因背压导致worker停止从客户端和其它worker（副本场景）接收推送数据的次数
Active Connection数量 ActiveConnectionCount Count 活跃的网络连接数
Primary Push Data时间 PrimaryPushDataTime_Mean ms 处理来自Celeborn客户端的推送数据的RPC平均时间
 PrimaryPushDataTime_Max ms 处理来自Celeborn客户端的推送数据的RPC最大时间
Replica Push Data时间 ReplicaPushDataTime_Mean ms 处理来自Celeborn其它worker的复制数据的RPC平均时间
 ReplicaPushDataTime_Max ms 处理来自Celeborn其它worker的复制数据的RPC最大时间
Write Data Fail数量 WriteDataFailCount Count 当前worker写入PushData或PushMergedData失败的次数
Replicate Data Write Fail数量 ReplicateDataWriteFailCount Count 因对等节点（目标复制节点）写入失败导致复制PushData或PushMergedData失败的次数
Replicate Data Fail数量 ReplicateDataFailCount Count 当前worker复制PushData或PushMergedData失败的次数
Replicate Data Timeout数量 ReplicateDataTimeoutCount Count 因对等节点（目标复制节点）超时导致复制PushData或PushMergedData失败的次数
Replicate Data Conn Exception数量 ReplicateDataConnectionExceptionCount Count 因对等节点（目标复制节点）连接异常导致复制PushData或PushMergedData失败的次数
Replicate Data Create Conn Fail数量 ReplicateDataCreateConnectionFailCount Count 因对等节点（目标复制节点）创建连接失败导致复制PushData或PushMergedData失败的次数
Open Stream时间 OpenStreamTime_Mean ms worker处理openStream RPC并返回StreamHandle的平均时间
 OpenStreamTime_Max ms worker处理openStream RPC并返回StreamHandle的最大时间
Fetch Chunk时间 FetchChunkTime_Mean ms worker从reduce分区默认读取8MB块的平均时间
 FetchChunkTime_Max ms worker从reduce分区默认读取8MB块的最大时间
Take Buffer时间 TakeBufferTime_Mean ms worker从磁盘刷写器中取出一个缓冲区的平均时间
 TakeBufferTime_Max ms worker从磁盘刷写器中取出一个缓冲区的最大时间
Flush Data时间 FlushDataTime_Mean ms worker将一个缓冲区的内容写入存储的平均时间
 FlushDataTime_Max ms worker将一个缓冲区的内容写入存储的最大时间
Commit Files时间 CommitFilesTime_Mean ms worker刷写指定shuffle缓冲区与关闭指定shuffle文件的平均时间
 CommitFilesTime_Max ms worker刷写指定shuffle缓冲区与关闭指定shuffle文件的最大时间
Sort时间 SortTime_Mean ms worker对shuffle文件进行排序的平均耗时
 SortTime_Max ms worker对shuffle文件进行排序的最大耗时
Files数量 SortingFiles Count 正在排序的shuffle文件数量
 SortedFiles Count 已排序的shuffle文件数量
Sort内存 SortMemory Bytes 正在排序的shuffle文件所占用的内存
Sorted File大小 SortedFileSize Count 已排序shuffle文件的总大小
Potential Consume Speed PotentialConsumeSpeed None 拥塞控制的潜在消费速率
Worker Consume Speed WorkerConsumeSpeed None 拥塞控制的worker消费速率
Used Produce Speed UserProduceSpeed None 拥塞控制的用户生产速率
Primary Push Data Handshake时间 PrimaryPushDataHandshakeTime_Mean ms 主分区握手处理平均时间
 PrimaryPushDataHandshakeTime_Max ms 主分区握手处理最大时间
Replica Push Data Handshake时间 ReplicaPushDataHandshakeTime_Mean ms 副本分区握手处理平均时间
 ReplicaPushDataHandshakeTime_Max ms 副本分区握手处理最大时间
Primary Region开始时间 PrimaryRegionStartTime_Mean ms 缓冲区超过高水位线触发的刷写的平均时间
 PrimaryRegionStartTime_Max ms 缓冲区超过高水位线触发的刷写的最大时间
Replica Region开始时间 ReplicaRegionStartTime_Mean ms 处理副本分区（Region）启动请求的平均时间
 ReplicaRegionStartTime_Max ms 处理副本分区（Region）启动请求的最大时间
 PrimaryRegionFinishTime_Mean ms 处理主分区（Region）完成请求的平均时间
 PrimaryRegionFinishTime_Max ms 处理主分区（Region）完成请求的最大时间
 ReplicaRegionFinishTime_Mean ms 处理副本分区（Region）完成请求的平均时间
 ReplicaRegionFinishTime_Max ms 处理副本分区完成请求的最长耗时
Push Data Handshake Fail数量 PushDataHandshakeFailCount Count worker在PushData握手阶段失败的次数
Region Start Fail数量 RegionStartFailCount Count worker处理RegionStart请求失败的次数
 RegionFinishFailCount Count worker处理RegionFinish请求失败的次数
Active Credit Stream数量 ActiveCreditStreamCount Count 正在读取Map分区数据的活跃流总数
Active MapPartition数量 ActiveMapPartitionCount Count 活跃的Map分区读取流数量
Last Minute System Load LastMinuteSystemLoad None 过去1分钟的系统平均负载
Available Processors数量 AvailableProcessors Count 系统可用CPU核心数
Disk File数量 diskFileCount Count 按用户统计的磁盘文件占用数量
Disk Bytes Written diskBytesWritten Bytes 按用户统计的磁盘文件总大小
HDFS File数量 hdfsFileCount Count 按用户统计的HDFS文件占用数量
HDFS Bytes Written hdfsBytesWritten Bytes 按用户统计的HDFS文件总大小
Netty内存 NettyMemory Bytes Celeborn worker使用的堆外内存总量
Disk缓存 DiskBuffer None 需写入磁盘的pushData和pushMergedData占用的内存大小
Push Used Head内存 push_usedHeapMemory None Worker 节点在执行 Push 操作 时使用的 堆内存 大小
Push Used Direct内存 push_usedDirectMemory None Worker 节点在执行 Push 操作 时使用的 直接内存 大小
Fetch Used heap内存 fetch_usedHeapMemory None Worker 节点在执行 Fetch 操作 时使用的 堆内存 大小
Fetch used Direct内存 fetch_usedDirectMemory None Worker 节点在执行 Fetch 操作 时使用的 直接内存 大小
Replicate Used Heap内存 replicate_usedHeapMemory None Worker 节点在执行 Replicate 操作 时使用的 堆内存 大小
Replicate Used Direct内存 replicate_usedDirectMemory None Worker 节点在执行 Replicate 操作 时使用的 直接内存 大小
Read Buffer Allocated数量 ReadBufferAllocatedCount None 已分配读缓冲区数量
读缓存 BufferStreamReadBuffer Bytes 用于信用流（Credit Stream）读操作的缓冲区内存消耗
Read Buffer Dispatcher Requests ReadBufferDispatcherRequestsLength Count 等待分配的读缓冲区请求队列长度
CPU利用率 ProcessCpuLoad % CPU利用率
CPU累计使用时间 ProcessCpuTime ms CPU 累计使用时间
GC次数 YGC Count Young GC 次数
 FGC Count Full GC 次数
GC时间 FGCT s Full GC 消耗时间
 GCT s 垃圾回收时间消耗
 YGCT s Young GC 消耗时间
内存区域占比 S0 % Survivor 0区内存使用占比
 E % Eden 区内存使用占比
 CCS % Compressed class space 区内存使用占比
 S1 % Survivor 1区内存使用占比
 O % Old 区内存使用占比
 M % Metaspace 区内存使用占比
JVM内存 MemHeapUsedM MBytes 已使用的堆内存
 MemNonHeapUsedM MBytes 已使用的堆外内存
 MemHeapCommittedM MBytes 已提交的堆内存
 MemNonHeapCommittedM MBytes 已提交的堆外内存
 MemHeapMaxM MBytes 最大堆内存
堆内存使用率 MemHeapUsedRate % 堆内存使用率
JVM线程数量 PeakThreadCount Count 峰值线程数
 ThreadCount Count 总线程数量
 DaemonThreadCount Count Daemon线程数量
Active Shuffle File数量 ActiveShuffleFileCount Count Active Shuffle File数量

相关内容：

  1. 弹性 MapReduce RSS 监控指标 这篇说说了腾讯云的两个组件：RSS-Coordinator和RSS-ShuffleServer。RSS-Coordinator: 负责协调和管理RSS（Resource Sharing System）中的资源分配和调度。RSS-ShuffleServer: 处理数据的分发和重新分配，确保数据在集群中的高效传输和负载均衡。...
  2. 弹性 MapReduce Goosefs 监控指标 这里说明了 Goosefs 的整体架构，包含 Goosefs-Master 和 Goosefs-Worker 两个重要组成部分。Goosefs-Master: 是整个系统的核心控制组件，负责管理和协调整个文件系统的运行。Goosefs-Worker: 执行具体的数据处理和存储任务，在系统中发挥着关键作用。...
  3. 弹性 MapReduce UNIFFLE 监控指标 这篇简要介绍了腾讯云UNIFFLE的两个核心组件：UNIFFLE-Coordinator和UNIFFLE-ShuffleServer。文档未提供详细内容，仅列出了这两个组件的名称。...
  4. 弹性 MapReduce Alluxio 监控指标 这里说明了 ALLUXIO 集群的相关组成部分，包括 ALLUXIO-Master 和 ALLUXIO-Worker 。但未对这些组成部分的具体功能和特点等进行详细阐述。ALLUXIO-Cluster : 简单提及为相关集群概念。ALLUXIO-Master : 仅作为组成部分列出，无更多说明。ALLUXIO-Worker : 同样只是作为组成部分被提及。...
  5. 弹性 MapReduce Trino 监控指标 这篇简要介绍了腾讯云TRINO服务的两个核心组件：TRINO-WORKER和TRINO-Coordinator。文档未提供详细内容，仅列出了这两个组件的名称。...
  6. 弹性 MapReduce HBase 监控指标 这篇简要介绍了腾讯云HBase相关组件，包括HBase的概览、HMaster、RegionServer、Thrift和REST接口。HBASE-概览: HBase的基本介绍和整体架构概述。HBASE-HMaster: HBase的主节点功能，负责管理表和Region的分配。HBASE-RegionServer: HBase的数据存储和读写服务节点，处理客户端请求。HBase-Thrift: 通过Thrift接口访问H。...
  7. 弹性 MapReduce Druid 监控指标 这里说明了腾讯云的 Druid 相关组件，包括 Druid-broker、Druid-coordinator、Druid-historical、Druid-middleManager、Druid-overlord 和 Druid-router。组件介绍: 分别对 Druid 的各个组件进行了列举，但未详细阐述其具体功能和特点。...
  8. 弹性 MapReduce PrestoSQL 监控指标 这里说明了腾讯云 PrestoSQL 的部分内容，包括其指标支持的版本，以及对 PrestoSQL - Worker 和 PrestoSQL - Coordinator 的简单提及。PrestoSQL 版本支持: PrestoSQL 指标目前仅支持 PrestoSQL322 和 PrestoSQL350 及以上版本。PrestoSQL 组成: 提到了 PrestoSQL - Worker 和 PrestoSQL 。...
赞 (0)
上一篇 4天前
下一篇 4天前