注意:说明:
注意:COSN 是 Hadoop-COS 文件系统的简称。
一、功能介绍
EMR 挂载元数据加速桶操作步骤参考:挂载元数据加速桶。
二、操作步骤
注意:警告:
注意:如下示例*存在两种格式,如:hadoop-temrfs-2.8.5-8.0.2-1.0.6.jar 和 hadoop-temrfs-1.0.6.jar。
注意:1. 当集群中使用 cosranger 时,*=hadoop-temrfs-1.0.6.jar格式时需 提交工单 支持更新。
注意:2. 当集群中未使用 cosranger 时,*=hadoop-temrfs-1.0.6.jar格式时,按如下操作正常升级更新。
注意:3. * =hadoop-temrfs-2.8.5-8.0.2-1.0.6.jar 格式时,无需考虑集群是否使用 cosranger,均按如下操作正常升级更新。
三、场景一
当 core-site.xml 中 fs.cosn.impl=com.qcloud.emr.fs.TemrfsHadoopFileSystemAdapter 时:
1. 将 /usr/local/service/hadoop/share/hadoop/common/lib/hadoop-temrfs-*.jar 替换为 temrfs_hadoop_plugin_network-1.3.jar。
注意:说明:
注意:temrfs_hadoop_plugin_network-1.3下载地址:temrfs_hadoop_plugin_network-1.3.jar。
2. 在 core-site.xml,新增如下配置项:
·emr.temrfs.download.md5=5d018fcf087d945ec62e3cf2eefc162
·emr.temrfs.download.version=2.8.5-8.2.7-1.0.7
注意:说明:
注意:如上示例中:2.8.5替换为你的 hadoop 版本,8.2.7替换为你需要的 hadoop-cos 包的版本,但确保版本不低于8.2.7, cos_api-bundle 版本会自动适配。
参考如下:
| Hadoop 版本 | hadoop-cos 包版本 | emr.temrfs.download.version | emr.temrfs.download.md5 |
| 2.8.5 | 8.2.7 | 2.8.5-8.2.7-1.0.7 | 05d018fcf087d945ec62e3cf2eefc162 |
| 3.1.0 | 8.2.7 | 3.1.0-8.2.7-1.0.8 | 53b4f95d1c44a268f16b009e43db7130 |
四、场景二
当 core-site.xml 中 fs.cosn.impl=org.apache.hadoop.fs.cosnative.NativeCosFileSystem 时:
1. 将 /usr/local/service/hadoop/share/hadoop/common/lib/hadoop-temrfs-*.jar 替换为 temrfs_hadoop_plugin_network-1.3.jar。
2. 在 core-site.xml,新增如下配置项:
·emr.temrfs.download.md5=5d018fcf087d945ec62e3cf2eefc162
·emr.temrfs.download.version=2.8.5-8.2.7-1.0.7 (参考场景一)
·emr.temrfs.download.region=sh
·emr.temrfs.tmp.cache.dir=/data/emr/hdfs/tmp/temrfs