腾讯云产品
-
弹性 MapReduce WebUI 访问
软件 WebUI 入口功能是 EMR 提供的组件原生 UI 访问能力,通过 Master 节点的外网 IP(建议及时配置安全策略)可以快捷访问组件原生 UI。如果集群内网与企业网络互通,可关闭该外网 IP,直接通过内网访问组件原生 UI。
-
弹性 MapReduce HBase RIT 修复
HBase RIT 修复适用于在 HBase(HBase 版本在2.2.0及以上)集群中遇到 RIT(Region-In-Transition)问题,且 Region 处于较⻓时间的 RIT 状态时,对处于 FAILED_OPEN、FAILED_CLOSED、CLOSING 状态的 Region 进⾏修复。
-
弹性 MapReduce Spark 资源动态调度实践
确定你已经开通了腾讯云,并且创建了一个 EMR 集群。在创建 EMR 集群的时候,需要在软件配置界面选择 spark_hadoop 组件。Spark 安装在 EMR 云服务器的 /usr/local/service 路径下(/usr/local/service/spark)。
-
弹性 MapReduce 集群脚本
集群脚本功能支持批量选择节点运行指定脚本,以便高效进行批量运维操作。一个集群同一时间只能运行一个集群脚本,如果有正在运行的集群脚本,则无法再提交执行新的集群脚本。例如,安装第三方软件和修改集群运行环境。
-
弹性 MapReduce Impala 运维手册
当 Impala 中的元数据信息太多(例如几百个库、几万个表),Impala 在启动的时候,需要把这些元数据信息广播到所有节点上,默认这个动作的超时时间是10s。当元数据较大且较易触发时,可通过在 Impala 的启动配置文件 /data/Impala/conf/impalad.flgs 中设置 -statestore_subscriber_timeout_seconds=100。
-
弹性 MapReduce 用户管理说明
EMR 用户信息存储在集群 OpenLDAP 中,EMR 用户可以用于访问组件 、WebUI,也可以在开启组件 LDAP 认证之后进行身份认证。如果将 Ranger 的用户源设置为 LDAP,则可以对用户管理中的用户进行权限控制;控制台提供用户和用户组管控模块,这里说明通过控制台管理集群用户和用户组操作。
-
弹性 MapReduce 集群销毁
这篇说明如何通过EMR控制台销毁集群,包括前提条件与操作步骤,强调包年包月集群销毁后可在回收站保留7天,按量计费集群则彻底销毁无法恢复,需提前备份数据。 前提条件:销毁前需备份数据,包年包月集群保留7天可恢复,按量计费集群直接销毁不可恢复。 操作步骤:登录控制台选择销毁,确认信息后勾选同意并开始销毁。
-
弹性 MapReduce 角色管理
角色管理提供了角色服务级别的运维操作功能,包括重启、暂停、维护操作,并落实到具体的节点维度操作。角色状态支持监控,以便于了解角色进程实时状态。
-
弹性 MapReduce 查看伸缩记录
伸缩记录可查看自动伸缩活动的执行记录等信息,弹性伸缩扩缩容事件支持事件分级,根据事件等级设置事件告警策略;事件分级详。
-
弹性 MapReduce YARN 标签调度实践
Spark on Yarn 使用 Yarn 作为资源调度器,在 Hadoop2.7.2 之后 Yarn 在容器调度器 Capacity Scheduler 基础上增加了标签调度。