弹性 MapReduce EMR 更新 Hadoop-COS

EMR 集群支持 COS 标准存储桶和元数据加速桶,但在 EMR 环境下需检查 JAR 包版本是否符合环境要求;若不符合要求需要更新 hadoop-cos 包和 cos_api-bundle 版本;这里说明 EMR 更新 COSN 文件 JAR 包。

相关产品
弹性 MapReduce 产品页,含版本规格、价格与购买入口。

注意:说明:

注意:COSN 是 Hadoop-COS 文件系统的简称。

一、功能介绍

EMR 挂载元数据加速桶操作步骤参考:挂载元数据加速桶。

二、操作步骤

注意:警告:

注意:如下示例*存在两种格式,如:hadoop-temrfs-2.8.5-8.0.2-1.0.6.jar 和 hadoop-temrfs-1.0.6.jar。

注意:1. 当集群中使用 cosranger 时,*=hadoop-temrfs-1.0.6.jar格式时需 提交工单 支持更新。

注意:2. 当集群中未使用 cosranger 时,*=hadoop-temrfs-1.0.6.jar格式时,按如下操作正常升级更新。

注意:3. * =hadoop-temrfs-2.8.5-8.0.2-1.0.6.jar 格式时,无需考虑集群是否使用 cosranger,均按如下操作正常升级更新。

三、场景一

当 core-site.xml 中 fs.cosn.impl=com.qcloud.emr.fs.TemrfsHadoopFileSystemAdapter 时:

1. 将 /usr/local/service/hadoop/share/hadoop/common/lib/hadoop-temrfs-*.jar 替换为 temrfs_hadoop_plugin_network-1.3.jar。

注意:说明:

注意:temrfs_hadoop_plugin_network-1.3下载地址:temrfs_hadoop_plugin_network-1.3.jar。

2. 在 core-site.xml,新增如下配置项:

·emr.temrfs.download.md5=5d018fcf087d945ec62e3cf2eefc162

·emr.temrfs.download.version=2.8.5-8.2.7-1.0.7

注意:说明:

注意:如上示例中:2.8.5替换为你的 hadoop 版本,8.2.7替换为你需要的 hadoop-cos 包的版本,但确保版本不低于8.2.7, cos_api-bundle 版本会自动适配。

参考如下:

Hadoop 版本 hadoop-cos 包版本 emr.temrfs.download.version emr.temrfs.download.md5
2.8.5 8.2.7 2.8.5-8.2.7-1.0.7 05d018fcf087d945ec62e3cf2eefc162
3.1.0 8.2.7 3.1.0-8.2.7-1.0.8 53b4f95d1c44a268f16b009e43db7130

四、场景二

当 core-site.xml 中 fs.cosn.impl=org.apache.hadoop.fs.cosnative.NativeCosFileSystem 时:

1. 将 /usr/local/service/hadoop/share/hadoop/common/lib/hadoop-temrfs-*.jar 替换为 temrfs_hadoop_plugin_network-1.3.jar。

2. 在 core-site.xml,新增如下配置项:

·emr.temrfs.download.md5=5d018fcf087d945ec62e3cf2eefc162

·emr.temrfs.download.version=2.8.5-8.2.7-1.0.7 (参考场景一)

·emr.temrfs.download.region=sh

·emr.temrfs.tmp.cache.dir=/data/emr/hdfs/tmp/temrfs

赞 (0)
上一篇 4天前
下一篇 4天前