弹性 MapReduce 文件分析

基于集群创建的内置 NameService 存储数据,支持查看 T-1 天采集时间 HDFS 文件存储的总文件、总存储量、分布信息及近期趋势情况以及大文件、小文件的 top 目录列表,可自定义采集分析文件路径范围,也可导出目录作为治理参考信息。

相关产品
弹性 MapReduce 产品页,含版本规格、价格与购买入口。

一、操作步骤

1. 登录 EMR 控制台,在集群列表中单击对应的集群 ID/名称进入集群详情页。

2. 在集群详情页中单击洞察管理默认加载页面即为文件存储页面,提供基于存储在 HDFS 或 COS 存储桶中截至上一次采集时间点的相关文件及目录信息。

3. 统计视图

3.1 采集目录默认为全量(root),可自定义采集分析路径范围,自定义范围适用于文件分析和文件导出功能。

3.2 可以查看 HDFS 存储的总文件数量、总存储量的日增量及日环比量。

3.3 参照空文件(=0),小文件(≤2M)、其他(2M < 文件存储量 < 128M)及大文件(≥128M)定义提供文件数量分布和文件存储量分布视图。

4. 通过视图直观查看各类文件数量和存储量的近期历史变化趋势。

注意:风险说明

注意:文件存储分析依赖的分析数据将于北京时间每天14:00开始采集。

注意:1. 文件存储分析涉及对备份 fsimage 文件采集分析,该分析影响本机内存使用增加(最大增幅4G),若集群内存使用机器总占比连续高位时,可 工单反馈 关闭该功能。

注意:2. HA 集群该分析功能执行在 Standby Master 节点,非 HA 集群该分析功能执行在 Master 节点。

注意:3. 文件采集依赖元数据关联的 HDFS 和存储桶文件路径,COS 存储桶支持分析需要用户开通对应存储桶的清单功能。

赞 (0)
上一篇 5天前
下一篇 5天前