云服务器特惠 99/年起
  1. 腾讯云优惠网首页
  2. 腾讯云产品

弹性 MapReduce RSS 监控指标

• 腾讯云产品

这篇说说了腾讯云的两个组件：RSS-Coordinator和RSS-ShuffleServer。RSS-Coordinator: 负责协调和管理RSS（Resource Sharing System）中的资源分配和调度。RSS-ShuffleServer: 处理数据的分发和重新分配，确保数据在集群中的高效传输和负载均衡。

相关产品
弹性 MapReduce 产品页，含版本规格、价格与购买入口。

一、RSS-Coordinator

标题 指标名称 指标单位 指标含义
Server 数量 Running count 注册到 coordinator 的 ShuffleServer 数量
 Excluded count 在 exclude 文件列表的 ShuffleServer 节点数量
 Unhealthy count 不健康 ShuffleServer 的节点数量
App 数量 Running count 注册到 coordinator 的运行中的 application 的数量
 Total count 总的 application 数量
请求数量 LoadDenied count 由于 ShuffleServer 内存负载太高导致拒绝服务的请求数
 QuotaDenied count 用户级别 Application quota 数量控制导致拒绝服务的请求数
GC次数 YGC count Young GC 次数
 FGC count Full GC 次数
GC时间 FGCT s Full GC 消耗时间
 GCT s 垃圾回收时间消耗
 YGCT s Young GC 消耗时间
内存区域占比 S0 % Survivor 0区内存使用占比
 E % Eden 区内存使用占比
 CCS % Compressed class space 区内存使用占比
 S1 % Survivor 1区内存使用占比
 O % Old 区内存使用占比
 M % Metaspace 区内存使用占比
JVM 内存 MemHeapUsedM bytes 已使用的堆内存
 MemNonHeapUsedM bytes 已使用的堆外内存
 MemHeapCommittedM bytes 已提交的堆内存
 MemNonHeapCommittedM bytes 已提交的堆外内存
 MemHeapMaxM bytes 最大堆内存
 MemNonHeapMaxM bytes 最大堆外内存
 MemHeapInitM bytes 初始堆内存
 MemNonHeapInitM bytes 初始堆外内存
文件描述符数 MaxFileDescriptorCount count 最大文件描述符数
 OpenFileDescriptorCount count 打开文件描述符数
进程数量 PeakThreadCount count 峰值线程数
 ThreadCount count 总线程数量
 DaemonThreadCount count Daemon 线程数量
进程运行时间 Uptime s 进程运行时间
进程启动时间 StartTime s 进程启动时间
堆内存使用率 MemHeapUsedRate % 堆内存使用占比

二、RSS-ShuffleServer

标题 指标名称 指标单位 指标含义
Data Info Received bytes ShuffleServer 接收到的数据量
 Write bytes ShuffleServer Flush 到磁盘/远端存储的数据量
 WriteHdfs bytes 写到 HDFS 上的数据量
 WriteLocal bytes 写到本地存储上的数据量
Write Block 数量 Count count ShuffleServer Flush 到磁盘/远端存储的 Block 数量
Write Flush 时间 Time ms ShuffleServer Flush 数据到磁盘/远端存储的耗时
Write Flush 线程 Count count ShuffleServer 并发 Flush 数据到盘的线程数量
Write Flush 数量 Total count ShuffleServer Flush 到磁盘/远端存储的次数
 Slow count ShuffleServer Flush 数据到磁盘/远端存储慢的数量，时间由 rss.server.write.slow.threshold 决定
App 数量 App count 当前在 ShuffleServer 上存储数据的 application 的数量
Partition 数量 Partition count 当前在 ShuffleServer 上存储数据的 partition 的数量
Event 情况 Queue count 当前 ShuffleServer flush 队列中的 event 数量
 FailedWriten count event 持久化失败的数量
 Dropped count 由于 application 不存在或者flush 超时导致event被丢掉的数量
Data Read Total bytes 所有 application 从 ShuffleServer 中读取的数据量，包括data 和 index 数据
 DataFromLocalStorage bytes ShuffleServer 中读取的数据量
 IndexFromLocalStorage bytes ShuffleServer 中读取的 index 数据量
 DataFromMemory bytes ShuffleServer 从内存中读取的数据量
Read 时间 Time ms 总的读取耗时
Required 内存 Total bytes 读取数据申请的总内存量
 Retry bytes 读取数据申请时进行重试申请的总内存量
 Failed bytes 读取数据申请内存失败的内存量
节点健康情况 IsHealthy count 当前节点是否健康
Buffer 情况 Allocated bytes 已分配出来存储数据的内存量
 InFlush bytes 待 flush 到磁盘的内存量
 Used bytes 内存用来存储 shuffle 数据的用量，上限由 rss.server.buffer.capacity 确定
 ReadUsed bytes 用来缓存 shuffle read 数据的用量，上限由 rss.server.read.buffer.capacity 确定
本地存储路径 Total count 当前节点可用本地存储根目录数量
 Corrupted count 当前节点不可用本地存储根目录数量
本地存储空间 Total bytes 当前节点本地存储总大小
 Used bytes 当前节点本地存储空间已使用大小
本地存储使用率 Ratio % 当前节点本地存储空间使用比例
本地存储写入统计 Total count 写本地存储的总次数
 Retry count 重试写本地存储的次数
 Failed count 写本地存储失败的次数
 Success count 写本地存储成功的次数
App Total count 节点上处理过的 application 的累计数量
 TotalWithHugePartition count 有 hue partition 的 application 累计数量
 WithHugePartition count 节点上拥有 huge partition 的 application 数量
Partition Total count 节点上存储 partition 的累计数量
 TotalHuge count 节点上 huge partition 的累积数量
 Huge count 节点上当前 huge partition 的数量
Buffer 失败统计 Huge count shuffle client 向 ShuffleServer 申请超大内存失败的数量，超大内存由 rss.server.huge-partition.size.threshold 定义
 Regular count shuffle client 向 ShuffleServer 申请内存存放 shuffle 数据失败的数量
JVM 内存 MemHeapUsedM bytes 已使用的堆内存
 MemNonHeapUsedM bytes 已使用的堆外内存
 MemHeapCommittedM bytes 已提交的堆内存
 MemNonHeapCommittedM bytes 已提交的堆外内存
 MemHeapMaxM bytes 最大堆内存
 MemNonHeapMaxM bytes 最大堆外内存
 MemHeapInitM bytes 初始堆内存
 MemNonHeapInitM bytes 初始堆外内存
文件描述符数 MaxFileDescriptorCount count 最大文件描述符数
 OpenFileDescriptorCount count 打开文件描述符数
进程数量 PeakThreadCount count 峰值线程数
 ThreadCount count 总线程数量
 DaemonThreadCount count Daemon线程数量
进程运行时间 Uptime s 进程运行时间
进程启动时间 StartTime s 进程启动时间
GC 次数 YGC count Young GC 次数
 FGC  Full GC 次数
GC 时间 FGCT s Full GC 消耗时间
 GCT  垃圾回收时间消耗
 YGCT  Young GC 消耗时间
内存区域占比 S0 % Survivor 0区内存使用占比
 E  Eden 区内存使用占比
 CCS  Compressed class space 区内存使用占比
 S1  Survivor 1区内存使用占比
 O  Old 区内存使用占比
 M  Metaspace 区内存使用占比
堆内存使用率 MemHeapUsedRate % 堆内存使用占比

相关内容：

  1. 弹性 MapReduce UNIFFLE 监控指标 这篇简要介绍了腾讯云UNIFFLE的两个核心组件：UNIFFLE-Coordinator和UNIFFLE-ShuffleServer。文档未提供详细内容，仅列出了这两个组件的名称。...
  2. 弹性 MapReduce Druid 监控指标 这里说明了腾讯云的 Druid 相关组件，包括 Druid-broker、Druid-coordinator、Druid-historical、Druid-middleManager、Druid-overlord 和 Druid-router。组件介绍: 分别对 Druid 的各个组件进行了列举，但未详细阐述其具体功能和特点。...
  3. 弹性 MapReduce Doris 监控指标 这篇仅列出了Doris-FE、Doris-BE和Doris-BK三个名词，未对其进行任何详细的介绍或说明。...
  4. 弹性 MapReduce CELEBORN 监控指标 这篇简要介绍了腾讯云文档中关于CELEBORN的两个组件：CELEBORN-Master和CELEBORN-Worker。文档内容较为简洁，未提供详细的功能描述或操作指南。...
  5. 弹性 MapReduce Kafka 监控指标 由于提供的[腾讯云文档]内容为空，无法生成摘要。请提供有效的文档内容以便进行摘要。...
  6. 弹性 MapReduce PrestoSQL 监控指标 这里说明了腾讯云 PrestoSQL 的部分内容，包括其指标支持的版本，以及对 PrestoSQL - Worker 和 PrestoSQL - Coordinator 的简单提及。PrestoSQL 版本支持: PrestoSQL 指标目前仅支持 PrestoSQL322 和 PrestoSQL350 及以上版本。PrestoSQL 组成: 提到了 PrestoSQL - Worker 和 PrestoSQL 。...
  7. 弹性 MapReduce Goosefs 监控指标 这里说明了 Goosefs 的整体架构，包含 Goosefs-Master 和 Goosefs-Worker 两个重要组成部分。Goosefs-Master: 是整个系统的核心控制组件，负责管理和协调整个文件系统的运行。Goosefs-Worker: 执行具体的数据处理和存储任务，在系统中发挥着关键作用。...
  8. 弹性 MapReduce Spark 监控指标 这里说明了腾讯云的 SPARK-HistoryServer 相关内容。暂无具体内容。...
赞 (0)
上一篇 5天前
下一篇 5天前