一、操作步骤
1. 登录 EMR 控制台,在集群列表中单击对应的集群 ID/名称进入集群详情页。
2. 在集群详情页中单击集群服务,然后选择 YARN 组件右上角操作 > 作业查询,即可查看作业统计视图、资源消耗趋势,查询相关作业信息、任务信息查看、应用执行结果洞察及应用监控对比等。
2.1 用户粒度的提交量、Memory、VCore 的消耗量视图及分布,支持近期内的相关趋势查看。
2.2 作业级别提供用户、应用名、队列名、作业类型、持续时间及相关吞吐资源等多维信息筛查。
2.3 统计列表可按照指定的用户、队列等信息统计其资源消耗量,帮助统计资源开销情况辅助成本核查(接口同步支持)。
3. 在作业列表中单击更多 > 应用洞察,查看应用的详细洞察项及相关的洞察规则、结果、建议。
| 洞察结果 | 说明 |
| ABNORMAL | 洞察异常 |
| OK | 洞察正常 |
| UNKNOWN | 未洞察,查询满足降级策略忽略采集时的洞察结果,降级策略如下注意 |
注意:1. 运行时长小于10min的 App 将被降级忽略。
注意:2. 采集时子任务大于3W的 App 将被降级忽略。
注意:3. 延迟采集时间大于24h的 App 将被降级忽略。
注意:风险说明
注意:Yarn 应用洞察会分别采集 Spark History、Job History、Timeline Server 相关应用数据进行分析,如若发现上述服务请求量持续突破负载瓶颈可 提交工单 关闭该功能。
4. 在作业列表中单击更多 > 应用对比,可以选择当前应用与同类型应用的业务指标对比信息。
5. 在作业列表中单击更多 > 任务信息,查看作业的任务列表、Hosts 对比及任务的运行日志。
功能的覆盖范围如下:
| 作业类型 | 任务信息 | Hosts 对比 | 任务日志 |
| MR | 支持 | 支持 | 支持 |
| Spark | 支持 | 不支持 | 支持 |
| Tez | 支持 | 支持 | 不支持 |
| 其他 | 不支持 | 不支持 | 不支持 |