弹性 MapReduce CosRanger 使用注意事项

CosRanger(COS Ranger Service)是腾讯云基于存算分离架构提供的大数据权限管控方案,兼容 Apache Ranger,可对存储在 COS 上的数据进行细粒度的访问权限控制。当 EMR 集群通过 HDFS 协议访问 COS(尤其是已开启元数据加速能力的存储桶)时,默认采用原生 POSIX ACL 方式鉴权。若需要基于 Ranger 对 COS 数据进行统一的细粒度权限管控,可参考这篇完成 Cos。

相关产品
弹性 MapReduce 产品页,含版本规格、价格与购买入口。

一、操作场景

这篇说说在 EMR 集群安装 CosRanger 服务后,开启 Ranger 访问控制、配置存储桶鉴权模式以及使数据组件生效的完整操作流程。

二、前提条件

·已创建 EMR 集群,且在集群购买时已勾选安装 CosRanger 服务。

·已了解待接入的存储桶类型(普通桶或元数据加速桶)。

·已获取 Ranger 服务的访问地址与端口(默认端口为 6080),Ranger 服务地址通常为 EMR 集群 Master 节点 IP。

三、步骤一:开启 Ranger 访问控制

1. 登录 EMR 控制台,进入目标集群的集群实例信息页面。

2. 在实例信息中开启 Ranger 访问控制开关,使集群启用基于 Ranger 的权限管控能力。

四、步骤二:配置存储桶鉴权模式

存储桶的鉴权配置需要根据存储桶类型区分处理。

五、元数据加速桶

若接入的是元数据加速桶,需在 COS 侧完成 HDFS 用户与鉴权模式配置:

1. 进入 COS 控制台,在湖存储配置 > 元数据权限配置中,配置 HDFS 用户配置。

2. 配置已接入的 EMR 集群所在的 VPC 及网段(EMR 集群所有节点的 IP 或 IP 段均需配置)。

3. 将 HDFS 协议的鉴权方式由 POSIX 鉴权修改为 Ranger 鉴权,并填写 Ranger 服务的 IP 地址与端口(默认端口为 6080)。

注意:说明:

注意:使用 Ranger 鉴权时,需在 core-site.xml 中新增配置项 fs.cosn.credentials.provider,并设置为 org.apache.hadoop.fs.auth.RangerCredentialsProvider。

六、普通存储桶

若接入的是非元数据加速桶,则无需执行上述元数据权限配置操作,可跳过本步骤。

七、步骤三:重启对应服务

完成上述配置后,需重启相关服务使配置生效。请根据实际的数据访问组件,重启对应服务:

·若通过 Hive 访问数据,需重启 HiveMetaStore 和 HiveServer2 服务。

·若通过其他常驻服务(如 YARN、Presto、Impala 等)访问数据,请一并重启对应服务。

八、步骤四:在 Ranger 中添加权限策略

配置生效后,登录 Ranger 管理页面(Web UI),在对应服务(如 COS、Hive 等)下添加权限策略,为相应的用户、用户组授予所需的访问权限。策略生效后即可完成基于 Ranger 的细粒度权限管控。

九、注意事项

·VPC 与网段配置必须完整:元数据加速桶的元数据权限配置中,需确保 EMR 集群所有节点的 IP 或 IP 段均已加入 VPC 网络配置,否则访问时可能出现 Permission denied: No access rules matched 等鉴权失败报错。

·鉴权方式切换需谨慎:将 POSIX 鉴权切换为 Ranger 鉴权后,未在 Ranger 中配置对应策略的用户将被拒绝访问,建议在切换前提前规划并配置好权限策略,避免影响正在运行的业务。

·配置后务必重启服务:鉴权模式变更及配置项修改后,必须重启对应的数据访问服务方可生效。

十、相关文档

·COS Ranger 权限体系解决方案

·使用 HDFS 协议访问已开启元数据加速的存储桶

赞 (0)
上一篇 4天前
下一篇 4天前