弹性 MapReduce 挂载 CHDFS

CHDFS 是标准 HDFS 访问协议和分层命名空间的高性能分布式文件系统,EMR 支持读写 CHDFS 上的数据,这里说明了如何将 CHDFS 挂载到 EMR 集群。

相关产品
弹性 MapReduce 产品页,含版本规格、价格与购买入口。

一、场景一:新集群挂载 CHDFS

注意:新集群:2019年12月31日当日及之后创建的集群,EMR 默认 CHDFS 挂载地址为 /data/emr/hdfs/tmp/chdfs。

EMR 集群已自动适配 CHDFS,创建 CHDFS 并合理设置权限,使 CHDFS 与 EMR 集群网络互通,配置步骤如下:

1. 创建与 EMR 集群同地域的 CHDFS,可参考 创建 CHDFS。

2. 按需创建权限组,可参考 创建权限组。

3. 按需创建权限规则,可参考 创建权限规则。

4. 创建与 EMR 集群同网络下的挂载点,可参考 创建挂载点。

5. 检查 CHDFS 与 EMR 集群连通性,使用 hadoop fs 命令行工具,运行 hadoop fs -ls ofs://${mountpoint}/ 命令,这里 mountpoint 为挂载地址。若文件列表可正常列出,则表示已成功挂载 CHDFS。

二、场景二:存量集群挂载 CHDFS

注意:存量集群:2019年12月31日前已创建的集群。

存量 EMR 集群挂载 CHDFS,可参考 挂载 CHDFS。

赞 (0)
上一篇 4天前
下一篇 4天前