云服务器特惠 99/年起
  1. 腾讯云优惠网首页
  2. 腾讯云产品

弹性 MapReduce 节点进程

• 腾讯云产品

节点状态 > 进程信息页面提供了控制台直观方式来查看当前集群各节点的进程部署情况。不仅展示了各个进程的状态，还提供了进程级别的实时日志和 Thread Dump 工具。

相关产品
弹性 MapReduce 产品页，含版本规格、价格与购买入口。

一、功能介绍

实时日志功能：可以让你实时查看每个进程的运行日志，包括系统运行信息、错误或异常信息等。这对于了解系统运行状态，快速定位和解决问题非常有帮助。

Thread Dump 功能：可获取当前进程的线程状态，包括线程的运行情况、锁定状态、等待资源等。可深入了解系统的并发问题，如死锁、资源竞争等，助力快速定位解决问题。

注意：说明：

注意：1.1 集群未使用腾讯云 VPC 网络。

注意：1.2 部分未提供实时日志的进程，支持范围见支持实时日志查看的服务范围。

注意：1.3 节点资源类型为 POD 类型。

注意：1.4 集群未使用腾讯云VPC网络。

注意：1.5 非 Java 进程。

注意：1.6 进程为非运行状态或缺失。

注意：1.7 节点资源类型为 POD 类型。

二、操作步骤

1. 登录 弹性 MapReduce 控制台，在集群列表中单击对应的集群 ID/名称进入集群详情页。

2. 选择集群资源 > 节点状态 > 进程信息页签可查看节点部署进程信息，通过进程操作可查看进程实时日志信息、Dump 信息和进程火焰图。

·部署状态：可查看当前节点的服务部署情况，是否为标准进程、进程状态是否运行正常等。

·进程操作 > Realtime Logs 可查询该进程相关运行时实时日志或相关审计日志。

·进程操作 > Thread Dump 可查询该进程最近时间的 Jstack 信息。

·进程操作 > Flame Graph 可查询该进程最近时间的火焰图信息可下载。

三、支持实时日志查看的服务范围

服务 进程 日志路径 日志文件名 支持版本说明
HDFS NameNode /data/emr/hdfs/logs hadoop-hadoop-namenode-rHOST.log 270、340、350
HDFS NameNode /data/emr/hdfs/logs nn-audit.log 340、350
HDFS DataNode /data/emr/hdfs/logs hadoop-hadoop-datanode-rHOST.log 270、340、350
HDFS DataNode /data/emr/hdfs/logs SecurityAuth-datanode-audit.log 340、350
HDFS JournalNode /data/emr/hdfs/logs hadoop-hadoop-journalnode-rHOST.log 270、340、350
HDFS JournalNode /data/emr/hdfs/logs SecurityAuth-journalnode-audit.log 340、350
HDFS ZKFailoverController /data/emr/hdfs/logs hadoop-hadoop-zkfc-rHOST.log 270、340、350
HDFS ZKFailoverController /data/emr/hdfs/logs SecurityAuth-zkfc-audit.log 340、350
HDFS DFSRouter /data/emr/hdfs/logs hadoop-hadoop-dfsrouter-rHOST.log 340、350
YARN ResourceManager /data/emr/yarn/logs hadoop-hadoop-resourcemanager-rHOST.log 270、340、350
YARN ResourceManager /data/emr/yarn/logs rm-audit.log 340、350
YARN NodeManager /data/emr/yarn/logs hadoop-hadoop-nodemanager-rHOST.log 270、340、350
YARN NodeManager /data/emr/yarn/logs nm-audit.log 340、350
YARN JobHistoryServer /data/emr/yarn/logs hadoop-hadoop-historyserver-rHOST.log 270、340、350
YARN TimeLineServer /data/emr/yarn/logs hadoop-hadoop-timelineserver-rHOST.log 270、340、350
Hive HiveMetaStore /data/emr/hive/logs (1)hadoop-hivemetastore，(2)hcat.out 270(1)、340(1，2)、350(1)
Hive HiveMetaStore /data/emr/hive/logs hadoop_hive_metastore_audit 270、340、350
Hive HiveServer2 /data/emr/hive/logs (1)hadoop-hive，(2)hadoop-hiveserver2 270(1)、340(2)、350(2)
Hive HiveServer2 /data/emr/hive/logs hadoop_hiveserver2_audit 270(手搓)、340、350
Hive HiveWebHcat /data/emr/hive/logs webhcat-console.log 270、340、350
HBase HMaster /data/emr/hbase/logs hbase-hadoop-master-rHOST.log 270、340、350
HBase HMaster /data/emr/hbase/logs SecurityAuth-hmaster-audit.log 340、350
HBase RegionServer /data/emr/hbase/logs hbase-hadoop-regionserver-rHOST.log 270、340、350
HBase RegionServer /data/emr/hbase/logs SecurityAuth-regionserver-audit.log 340、350
HBase HbaseThrift /data/emr/hbase/logs hbase-hadoop-thrift-rHOST.log 270、340、350
Zookeeper QuorumPeerMain /data/emr/zookeeper/logs zookeeper-root-server-rHOST.log 270、340、350
Zookeeper QuorumPeerMain /data/emr/zookeeper/logs zookeeper-audit.log 270、340、350
Kudu KuduServer /data/emr/kudu/log kudu-tserver.INFO 270、340、350
Kudu KuduMaster /data/emr/kudu/log kudu-master.INFO 270、340、350
Alluxio AlluxioMaster /data/emr/alluxio/logs master.log 270、340、350
Alluxio AlluxioWorker /data/emr/alluxio/logs worker.log 270、340、350
Ranger EmbeddedServer /data/emr/ranger/logs ranger-admin–.log 270、340、350
Ranger EnableUnixAuth /usr/local/service/ranger/usersync/logs usersync-rHOST-root.log 270、340、350
CosRanger CosRangerServer /data/emr/cosranger/logs info.log 270、340、350
Impala Impala-Statestore /data/emr/impala/logs statestored.INFO 270、340、350
Impala Impala-Catalog /data/emr/impala/logs catalogd.INFO 270、340、350
Impala Impala-Daemon /data/emr/impala/logs impalad.INFO 270、340、350
Spark SparkJobHistoryServer /data/emr/spark/logs spark-hadoop-org.apache.spark.deploy.history.HistoryServer-1-rHOST.out 270、340、350
Knox Knox /data/emr/knox/logs gateway.log,gateway-audit.log 270、340、350
Kylin Kylin /data/emr/kylin/logs kylin.log 270、340、350
Doris DorisFeFollower /data/emr/doris/fe/log fe.log Doris120
Doris DorisBe /data/emr/doris/be/log be.INFO Doris120
Doris DorisBroker /data/emr/doris/broker/log apache_hdfs_broker.log Doris120
Doris DorisFeObserver /data/emr/doris/fe/log fe.log Doris120
Druid broker /data/emr/druid/var/log/druid broker.log Druid110
Druid coordinator /data/emr/druid/var/log/druid coordinator.log Druid110
Druid router /data/emr/druid/var/log/druid router.log Druid110
Druid overload /data/emr/druid/var/log/druid overload.log Druid110
Druid historical /data/emr/druid/var/log/druid historical.log Druid110
Druid middleManager /data/emr/druid/var/log/druid middleManager.log Druid110
Oozie Oozie /data/emr/oozie/logs oozie.log,jetty.out 270、340、350
Storm Nimbus /data/emr/storm/logs nimbus.log 270
Storm Supervisor /data/emr/storm/logs supervisor.log 270
Livy LivyServer /data/emr/livy/logs livy-hadoop-server.out 270、340、350
StarRocks StarRocksFeFollower /data/emr/starrocks/fe/log fe.log SR140、SR200
StarRocks StarRocksFeObserver /data/emr/starrocks/fe/log fe.log SR140、SR200
StarRocks StarRocksBe /data/emr/starrocks/be/log be.INFO SR140、SR200
StarRocks StarRocksBroker /data/emr/starrocks/broker/log apache_hdfs_broker.log SR140、SR200
StarRocks StarRocksCn /data/emr/starrocks/be/log cn.INFO SR140、SR200
Kyuubi KyuubiServer /data/emr/kyuubi/logs kyuubi.log，kyuubi-hadoop-org.apache.kyuubi.server.KyuubiServer-rHOST.out 270、340、350
Trino Trino-Coordinator – (1)/data/emr/trino/logs/coordinator.log，(2)/data/emr/trino/var/log/server.log 270(2)、340(1)、350(1)
Trino Trino-Coordinator /data/emr/trino/logs trino-audit.log 340（手搓）、350（手搓）
Trino Trino-Worker  (1)/data/emr/trino/logs/worker.log，(2)/data/emr/trino/var/log/server.log 270(2)、340(1)、350(1)
Hue Hue /data/emr/hue/logs supervisor.log,runcpserver.log 270、340、350

相关内容：

  1. 弹性 MapReduce 组件版本概览 部分历史 EMR 发行版因开源组件版本较低，无法体验社区新特性，现已下线。下线的 EMR 发行版不再支持新集群创建，已购的集群仍可正常使用扩缩容等服务。...
  2. 弹性 MapReduce 组件自定义部署 弹性 MapReduce 支持在控制台新增组件时，部分组件支持自定义选择节点部署和部署数量；另部分组件已部署后支持卸载，以及相关服务角色的添加和移除。...
  3. 弹性 MapReduce 组件端口 这篇汇总了腾讯云EMR各组件的常用端口号与用途，涵盖HDFS、YARN、Hive、Spark、Presto、Impala、Kudu、ClickHouse、Doris、StarRocks、HBase、Kafka、ZooKeeper等数十种组件，帮助用户快速查阅端口配置。 HDFS：NameNode RPC端口4007，DataNode数据传输端口4001，JournalNode RPC端口4005。 YARN：Reso。...
  4. 弹性 MapReduce Druid 使用 EMR 支持将 E-MapReduce Druid 集群作为单独的集群类型，主要基于以下几方面的考虑。...
  5. 弹性 MapReduce Impala 简介 Apache Impala 项目为存储在 Apache Hadoop 文件格式的数据提供高性能、低延迟的 SQL 查询。它对查询进行快速响应，同时支持对分析查询进行交互式的数据探索和查询调整，而不是传统上那种与 SQL-on-Hadoop 技术相关联的长时间批量作业。...
  6. 弹性 MapReduce 系统用户说明 在 EMR（Elastic MapReduce）集群环境中，系统用户依据集群类型及业务需求承担特定职责，对集群系统的稳定运行及功能实现具有关键作用。这里说明系统用户在相应场景下的作用。...
  7. 弹性 MapReduce Hue 实践教程 Hue 的 beeswax App 提供了友好方便的 Hive 查询功能，可以选择不同的 Hive 数据库、编写 HQL 语句、提交查询任务、查看结果。...
  8. 弹性 MapReduce 如何映射 HBase 表 使用 Hive 来映射 Hbase 表，可以使用 Hive 来读取 Hbase 上的数据，使用 Hive-SQL 语句在 Hbase 表上进行查询、插入等操作。...
赞 (0)
上一篇 5天前
下一篇 5天前