弹性 MapReduce 查询管理开启说明

1. 依次进入EMR 控制台,在集群列表中单击对应的集群 ID/名称计入集群详情页。2. 在集群详情页中单击集群服务,然后选择 HIVE 服务,查看页面否有”查询管理”页签,如果有说明已经开启查询管理,如果没有需要执行后续步骤自动开启或提交工单开启 HIVE 查询管理。

相关产品
弹性 MapReduce 产品页,含版本规格、价格与购买入口。

一、Step2 检查 hive 采集插件是否部署

# 对于hive2.x版本,如下文件存在即是已经安装
ls /usr/local/service/hive/lib/*hive2-emr-hook*
# 对于hive3.x版本,如下文件存在即是已经安装
ls /usr/local/service/hive/lib/*hive3-emr-hook*

其中大部分版本默认会安装 Hive 采集插件,如果发现未安装,请通过 提交工单 进行 hive 插件安装。

二、Step3 修改 hive 采集插件相关配置

HIVE 服务页面,单击配置管理页签,进行如下配置更新及调整。

1. 修改 hive-site.xml 文件,修改如下3个配置项。

● hive.exec.failure.hooks

用逗号隔开添加:org.apache.hadoop.hive.ql.hooks.emr.ExecuteWithHookContextImpl

1) 如果原来的值为:org.apache.hadoop.hive.ql.hooks.ATSHook

添加后的值为:org.apache.hadoop.hive.ql.hooks.ATSHook,org.apache.hadoop.hive.ql.hooks.emr.ExecuteWithHookContextImpl(这个添加操作本质就是多个 hook 类之间用逗号隔开)。

2) 如果原来为空

添加后的值为 org.apache.hadoop.hive.ql.hooks.emr.ExecuteWithHookContextImpl

● hive.exec.post.hooks 同上。

● hive.exec.pre.hooks 同上。

2. 重新下发 hive-log4j2.properties

选择 hive-log4j2.properties 文件,单击编辑配置,RootLoggerLevel 参数选中 WARN 后保存配置。

3. 重新下发 hive-hiveserver2-log4j2.properties

选择 hive-hiveserver2-log4j2.properties 文件,单击编辑配置,RootLoggerLevel 选中 WARN 后保存配置。

三、Step4 重启所有 HiveServer2

重启所有的 Hiveserver2 角色,但不用重启 HiveMetaStore 也不用重启 HiveWebHcat。

四、Step5 检查是否生效

任意运行一条简单的 HiveSQL,检查 HIVE 查询管理是否有运行的 SQL 信息。

赞 (0)
上一篇 4天前
下一篇 4天前