一、操作步骤
1. 登录 EMR 控制台,在集群列表中单击对应的集群 ID/名称进入集群详情页。
2. 在集群详情页中单击洞察管理默认加载页面即为文件存储页面,提供基于存储在 HDFS 或 COS 存储桶中截至上一次采集时间点的相关文件及目录信息。
3. 统计视图
3.1 采集目录默认为全量(root),可自定义采集分析路径范围,自定义范围适用于文件分析和文件导出功能。
3.2 可以查看 HDFS 存储的总文件数量、总存储量的日增量及日环比量。
3.3 参照空文件(=0),小文件(≤2M)、其他(2M < 文件存储量 < 128M)及大文件(≥128M)定义提供文件数量分布和文件存储量分布视图。
4. 通过视图直观查看各类文件数量和存储量的近期历史变化趋势。
注意:风险说明
注意:文件存储分析依赖的分析数据将于北京时间每天14:00开始采集。
注意:1. 文件存储分析涉及对备份 fsimage 文件采集分析,该分析影响本机内存使用增加(最大增幅4G),若集群内存使用机器总占比连续高位时,可 工单反馈 关闭该功能。
注意:2. HA 集群该分析功能执行在 Standby Master 节点,非 HA 集群该分析功能执行在 Master 节点。
注意:3. 文件采集依赖元数据关联的 HDFS 和存储桶文件路径,COS 存储桶支持分析需要用户开通对应存储桶的清单功能。