云服务器特惠 99/年起
  1. 腾讯云优惠网首页
  2. 腾讯云产品

弹性 MapReduce YARN 作业日志转存 COS

• 腾讯云产品

Hadoop 默认将 YARN 的作业日志存储在 hdfs 上，腾讯云 EMR 还提供了将 YARN 作业日志存储在外部存储 COS 上。

相关产品
弹性 MapReduce 产品页，含版本规格、价格与购买入口。

一、前提条件

EMR 集群需要支持 COS，详情可参考 使用 API 分析 HDFS/COS 上的数据。

二、操作步骤

1. 登录 EMR 控制台，在集群列表中选择对应的集群，单击集群服务进入集群服务列表。

2. 通过 YARN 服务面板右上角操作 > 配置管理，找到 yarn-site.xml 配置文件并修改以下配置，下发所有节点。

yarn.nodemanager.remote-app-log-dir=cosn://$bucketname/$logs_dirs

其中，$bucketname 为你的存储桶名，$logs_dirs 为你希望将 yarn 作业日志转存的文件目录。

3. 通过 HDFS 服务面板右上角操作 > 配置管理，找到 core-site.xml 并新增以下配置项，下发所有节点。

fs.AbstractFileSystem.cosn.impl=org.apache.hadoop.fs.cosnative.COS

4. 在集群服务 > HDFS > 角色管理中重启集群所有 nodemanager/datanode 服务。

5. 运行 hive/spark 作业后，可通过以下命令查看存储在 COS 上的作业日志。

hdfs dfs -ls cosn://$bucketname/$logs_dirs

相关内容：

  1. 弹性 MapReduce YARN 标签调度实践 Spark on Yarn 使用 Yarn 作为资源调度器，在 Hadoop2.7.2 之后 Yarn 在容器调度器 Capacity Scheduler 基础上增加了标签调度。...
  2. 弹性 MapReduce Yarn 资源调度概述 YARN 资源调度提供了交互式的 YARN 资源队列调度管理能力，较文件式配置管理操作更便捷，目前支持 Fair Scheduler （公平调度器）和 Capacity Scheduler （容量调度器）两种类型的调度配置。...
  3. 弹性 MapReduce YARN 集成 Ranger Ranger 安装时，Ranger Admin、Ranger UserSync 都是部署在 Master 节点上，Ranger Plugin 是部署在嵌入组件主守护进程节点上。...
  4. 弹性 MapReduce Druid 使用 EMR 支持将 E-MapReduce Druid 集群作为单独的集群类型，主要基于以下几方面的考虑。...
  5. 弹性 MapReduce YARN 监控指标 这篇简要介绍了腾讯云YARN相关组件，包括ResourceManager、JobHistoryServer、NodeManager和Timeline，未提供详细功能说明或操作步骤。YARN-ResourceManager: 未提供具体描述。YARN-JobHistoryServer: 未提供具体描述。YARN-NodeManager: 未提供具体描述。YARN-Timeline: 未提供具体描述。...
  6. 弹性 MapReduce 通过 Spark Python 分析 COS 上的数据 这篇说说使用Spark Python在腾讯云EMR集群上执行WordCount，需先创建COS存储桶并上传数据，通过spark-submit提交任务，结果可输出至COS或HDFS。 开发准备：需开通EMR集群并选择Spark组件，授权访问COS。 数据准备：通过COS控制台或Hadoop命令上传待处理文件到存储桶。 运行样例：登录EMR Master节点，编写Python脚本并用spark-submit提交任务，输出。...
  7. 弹性 MapReduce 提交 MapReduce 任务 本操作手册只描述了命令行模式下基本的 MapReduce 任务操作以及 MapReduce 计算任务如何访问腾讯云对象存储 COS 上面的数据，详细资料可以参考 社区资料。...
  8. 弹性 MapReduce Yarn 作业查询 提供查看用户粒度提交量、Memory 量和 Vcore 消耗量等信息，快速查看 Yarn 作业的提交队列、状态、持续时间等多项明细指标，并支持作业级历史任务对比、作业洞察、任务执行信息等。...
赞 (0)
上一篇 4天前
下一篇 4天前