云服务器特惠 99/年起
  1. 腾讯云优惠网首页
  2. 腾讯云产品

弹性 MapReduce 组件自定义部署

• 腾讯云产品

弹性 MapReduce 支持在控制台新增组件时，部分组件支持自定义选择节点部署和部署数量；另部分组件已部署后支持卸载，以及相关服务角色的添加和移除。

相关产品
弹性 MapReduce 产品页，含版本规格、价格与购买入口。

一、支持自定义部署组件列表

注意：说明：

注意：1. 仅支持新增组件自定义部署，新建集群不支持自定义部署，系统默认部署。

注意：2. 自定义部署仅支持 EMR on CVM 版本的 Hadoop 集群类型。

注意：3. 若部分角色需要部署在 Router 节点上，请先在新增组件选择前，扩容准备好所需 Router 节点。

服务 角色 默认节点类型 可自定义节点类型 非 HA 集群节点数部署范围 HA 集群节点数部署范围
YARN JobHistoryServer master master 1 1
 NodeManager core,task core，task 2~不限制 3~不限制
 TimeLineServer master master 1 1
 ResourceManager master master 1 2
HBASE HRegionServer core core 2~不限制 3~不限制
 HbaseThrift master,router master，router 1 2
 HMaster master,router master，router 1 2
IMPALA ImpalaServer core,task core，task 2~不限制 3~不限制
 ImpalaServer core,task core，task 1~不限制 1~不限制
 ImpalaCataLog master,router master，router 1 2
 ImpalaStateStore master,router master，router 1 2
HIVE HiveMetaStore master,router master，router 1 2
 HiveServer2 master,router master，router 1 2
 HiveWebHcat master,router master，router 1 2
ALLUXIO AlluxioJobMaster master,router master，router 1 2
 AlluxioMaster master,router master，router 1 2
GOOSEFS GooseFSJobMaster master,router master，router 1 2
 GooseFSMaster master,router master，router 1 2
 GooseFSProxy master,router master，router 1 2
KUDU KuduMaster master,common master，common 3 3
 KuduServer core core 2~不限制 3~不限制
HDFS DataNode core core 1~不限制 3~不限制
HUE Hue master,router master，router 1~不限制 2~不限制
COSRANGER CosRangerServer master,router master，router 1 2
KYLIN Kylin master,router master，router 1 2
KYUUBI KyuubiServer master,router,task master，router，task 1~不限制 2~不限制
LIVY LivyServer master,router master，router 1~不限制 2~不限制
OOZIE Oozie master,router master，router 1 2
PRESTO PrestoWorker core,task core，task 2~不限制 3~不限制
PRESTOSQL PrestoSqlWorker core,task core，task 2~不限制 3~不限制
TRINO TrinoWorker core,task core，task 2~不限制 3~不限制
RANGER Ranger master,router master，router 1~不限制 2~不限制
SPARK SparkJobHistoryServer master,router master，router 1~不限制 2~不限制
SUPERSET Superset master,router master，router 1 2
TEZ Tomcat master,router master，router 1 1
ZEPPELIN Zeppelin master,router master，router 1 2

二、支持角色添加和移除列表

注意：1. 添加角色和移除角色，均需要优先保证“自定义部署组件列表”中的部署节点类型和数量范围。

注意：2. 添加角色和移除角色为白名单功能，可通过 提交工单 申请开通。

服务 角色 添加角色 移除角色 添加角色涉及配置文件 移除角色涉及配置文件
YARN JobHistoryServer 支持 支持 – –
 NodeManager 支持 支持 YARN:["yarnhosts"] YARN:["yarnhosts"]
 TimeLineServer 支持 支持 KNOX:["emr.xml"], TEZ:["configs.env"] KNOX:["emr.xml"], TEZ:["configs.env"]
 ResourceManager 不支持 不支持 – –
HBASE HRegionServer 支持 支持 – –
 HbaseThrift 支持 支持 – –
 HMaster 支持 支持 – HUE:["pseudo-distributed.ini"]KNOX:["emr.xml"]
IMPALA ImpalaServer 支持 支持 – –
 ImpalaServer 支持 支持 – –
 ImpalaCataLog 不支持 不支持 – –
 ImpalaStateStore 不支持 不支持 – –
HIVE HiveMetaStore 支持 支持 TRINO:["hive-site.xml"], TRINO：["hive.properties"], PRESTO:["hive.properties"], PRESTOSQL:["hive.properties"] TRINO:["hive.properties"], PRESTO:["hive.properties"], PRESTOSQL:["hive.properties"]
 HiveServer2 支持 支持 – HUE:["pseudo-distributed.ini"], KNOX:["emr.xml"]
 HiveWebHcat 支持 支持 – –
ALLUXIO AlluxioJobMaster 不支持 不支持 – –
 AlluxioMaster 不支持 不支持 – –
GOOSEFS GooseFSJobMaster 不支持 不支持 – –
 GooseFSMaster 不支持 不支持 – –
 GooseFSProxy 不支持 不支持 – –
KUDU KuduMaster 不支持 不支持 – –
 KuduServer 支持 支持 – –
HDFS DataNode 支持 支持 HDFS:["hdfshosts"] HDFS:["hdfshosts"]
HUE Hue 不支持 不支持 – KNOX:["emr.xml"]
COSRANGER CosRangerServer 不支持 不支持 HDFS:["core-site.xml"] HDFS:["core-site.xml"]
KYLIN Kylin 支持 支持 – HUE:["pseudo-distributed.ini"], KNOX:["emr.xml"]
KYUUBI KyuubiServer 支持 支持 – –
LIVY LivyServer 支持 支持 – HUE:["pseudo-distributed.ini"], KNOX:["emr.xml"]
OOZIE Oozie 支持 支持 – HUE:["pseudo-distributed.ini"], KNOX:["emr.xml"]
PRESTO PrestoWorker 支持 支持 – –
PRESTOSQL PrestoSqlWorker 支持 支持 – –
TRINO TrinoWorker 支持 支持 – –
RANGER Ranger 支持 支持 – YARN:["ranger-yarn-security.xml"], KNOX:["emr.xml"], HIVE:["ranger-hive-security.xml.js"], HDFS:["ranger-hdfs-security.xml.js"], HBASE:["ranger-hbase-security.xml.js"]ranger2.1.0版本及以上含如下：
TRINO:["ranger-trino-security.xml.js"], PRESTOSQL:["ranger-presto-security.xml.js"], COSRANGER:["ranger-chdfs-security.xml.js","ranger-cos-security.xml.js"]
SPARK SparkJobHistoryServer 支持 支持 – HUE:["pseudo-distributed.ini"], KNOX:["emr.xml"]
SUPERSET Superset 支持 支持 – –
TEZ Tomcat 支持 支持 – KNOX:["emr.xml"]
ZEPPELIN Zeppelin 支持 支持 – –

相关内容：

  1. 弹性 MapReduce 节点进程 节点状态 > 进程信息页面提供了控制台直观方式来查看当前集群各节点的进程部署情况。不仅展示了各个进程的状态，还提供了进程级别的实时日志和 Thread Dump 工具。...
  2. 弹性 MapReduce 集群类型 EMR 支持多种集群类型及相应的应用场景，并定义了5种节点类型，不同集群类型及应用场景支持的节点类型及部署节点数、部署服务不同；可根据业务选择不同的集群类型及应用场景创建集群。...
  3. 弹性 MapReduce HiveServer2 和 MetaStore 迁移到 Router 登录 EMR 控制台，在集群列表中选择对应的集群单击 ID/名称进入集群详情页，在集群详情页中选择集群资源 > 资源管理，进入资源管理页面，单击扩容进入集群扩容页面。  在集群扩容页面中，选择扩容节点类型为 Router，扩容服务为 Hive，其他选项可根据需要自行选择。 。...
  4. 弹性 MapReduce Ranger 审计日志指南 Ranger 审计日志默认关闭，可根据需要通过修改配置文件打开相应组件的审计功能。说明：EMR-2.7.0及以上版本安装 Ranger 时，默认会在单个 Master 节点上安装单机版的 Solr 服务，用于存储 Ranger 的审计日志，日志保留时间为7天。1. 打开方法以 HDFS 为例，在 EMR 控制台 > 集群服务 > HDFS > 配置管理，修改 ranger-hdfs-audit.xml 文件配置项如下。...
  5. 弹性 MapReduce 系统用户说明 在 EMR（Elastic MapReduce）集群环境中，系统用户依据集群类型及业务需求承担特定职责，对集群系统的稳定运行及功能实现具有关键作用。这里说明系统用户在相应场景下的作用。...
  6. 弹性 MapReduce Alluxio 支持鉴权 Alluxio 用户在对已有的统一命名空间访问 COS、HDFS、CHDFS 上的数据，或者用户使用透明 URL 来访问 Alluxio 中的缓存数据时，会出现无鉴权情况，也就是说任何用户只要拿着对应 URI 就能获取到数据。云上 Alluxio 对此类场景结合 Ranger 和 CosRanger 完善了鉴权场景。...
  7. 弹性 MapReduce 组件版本概览 部分历史 EMR 发行版因开源组件版本较低，无法体验社区新特性，现已下线。下线的 EMR 发行版不再支持新集群创建，已购的集群仍可正常使用扩缩容等服务。...
  8. 弹性 MapReduce 部署说明 部署说明用于查看 EMR on TKE 集群支持部署的集群类型、服务角色信息、Pod 默认规格信息、以及数据卷目录，便于用户参考调整服务部署资源配置。...
赞 (0)
上一篇 4天前
下一篇 4天前