一、前提条件
容量参考:以单个 Hive SQL 大小为1KB为例,单条记录大小约为20KB,即1GB可存储约52428条 Hive SQL。
3. 安全组开放9200端口,仅内网访问要求 EMR 集群和 ElasticSearch 集群在同一 VPC 内。
4. 示例:ElasticSearch 集群关键信息:
·用户名:elastic
·密码:MyPassword
·内网Ip:10.206.48.118
·端口:9200
·传输协议:http
二、EMR 控制台操作步骤
1. 登录 EMR 控制台,在集群服务 > RANGER > 配置管理 > ranger-admin-site.xml 文件,修改配置项如下:
ranger.audit.source.type = elasticsearchranger.audit.elasticsearch.user = elasticranger.audit.elasticsearch.password = MyPasswordranger.audit.elasticsearch.urls = 10.206.48.118ranger.audit.elasticsearch.protocol = httpranger.audit.elasticsearch.port = 9200ranger.audit.elasticsearch.index = ranger_auditsranger.audit.elasticsearch.bootstrap.enabled = true
2. 重启 Ranger 服务角色 EmbeddedServer。
3. 以 HIVE 为例,其它服务类似。进入集群服务 > HIVE > 配置管理,修改 ranger-hive-audit.xml文件 配置项如下,相应值和 ranger-admin-site.xml 文件保持一致。
xasecure.audit.is.enabled = truexasecure.audit.destination.elasticsearch = truexasecure.audit.destination.elasticsearch.urls = 10.206.48.118xasecure.audit.destination.elasticsearch.password = MyPasswordxasecure.audit.destination.elasticsearch.index = ranger_auditsxasecure.audit.destination.elasticsearch.port = 9200xasecure.audit.destination.elasticsearch.protocol = http
4. 重启 HIVE 角色 HiveServer2。