yun
-
弹性 MapReduce Hive 数据迁移实践
Hive 迁移涉及两部分,数据迁移和元数据迁移。Hive 表数据主要存储在 HDFS 上,故数据的迁移主要在 HDFS 层。Hive 的元数据主要存储在关系型数据库,可平滑迁移到云上 TencentDB,并可保障高可用。
-
弹性 MapReduce Spark 集成 Kafka 说明
Spark 从2.3 起不再支持 Kafka0.8.2,EMR 现网版本已集成 Spark2.4.3及以上版本,需要集成 kafka 0.10.0及更高版本。
-
弹性 MapReduce 集群概览
集群概览展示集群运行状态的总体视图,可以获取集群运行状态、核心服务指标、核心节点指标以及节点负载 TOP10 情况。
-
弹性 MapReduce 挂载 CHDFS
CHDFS 是标准 HDFS 访问协议和分层命名空间的高性能分布式文件系统,EMR 支持读写 CHDFS 上的数据,这里说明了如何将 CHDFS 挂载到 EMR 集群。
-
弹性 MapReduce 配置组管理
配置组用于将部署同一服务的不同规格或用途的节点进行分组配置管理,使用配置组对服务配置进行管理规则如下。
-
弹性 MapReduce HiveServer2 和 MetaStore 迁移到 Router
登录 EMR 控制台,在集群列表中选择对应的集群单击 ID/名称进入集群详情页,在集群详情页中选择集群资源 > 资源管理,进入资源管理页面,单击扩容进入集群扩容页面。
在集群扩容页面中,选择扩容节点类型为 Router,扩容服务为 Hive,其他选项可根据需要自行选择。
。 -
弹性 MapReduce 组件元数据存储独立配置
当新建 EMR 集群部署涉及元数据存储的组件时,系统支持以组件为粒度灵活独立配置各组件的元数据存储方式。可以以根据业务需求,将不同组件的元数据存储到同一个 MetaDB 实例中(默认行为),也可以将任意组件拆分到不同的 MetaDB 实例或自建 MySQL 数据库中,实现组件间的元数据存储隔离与独立治理。
-
弹性 MapReduce 设置节点规格
节点规格管理用于设置 CORE、TASK、ROUTER 扩容时的硬件规格,每个节点类型最多可以设置3种规格,每个节点类型扩容时会自动选取当前的默认规格。如果当前默认扩容规格无配额,可重新设置默认扩容规格,请尽量使新规格的 CPU、内存、磁盘等资源与存量节点一致,以便与当前组件配置参数兼容。
-
弹性 MapReduce 集群事件
1. 登录 弹性 MapReduce 控制台,在集群列表中单击对应的集群 ID/名称进入集群详情页。2. 在集群详情页中选择集群监控 > 集群事件 > 事件列表,可直接查看当前集群所有操作事件。
-
弹性 MapReduce 集群巡检
每个集群可以即时或定时(按天、按周)根据已选的巡检项对集群的节点和服务进行健康检查,每个集群仅可配置一个定期巡检任务以便周期性掌握集群健康情况,即时对异常或风险点进行处理。