注意:1. 包含但不限于以下罗列操作,最终以控制台为准。
注意:2. 流程并行仅支持 EMR on CVM 版。
注意:3. task 节点并行缩容可能导致 Yarn NodeManager 实际下线时间与设置的优雅缩容时间不匹配。2024年4月9日后新建的 Hadoop3.x 版本集群将修复该问题,存量 Hadoop3.x 版本集群请参考 NodeManager 节点并行缩容配置文档 手动修复。Hadoop2.x 版本集群可支持取消 task 节点并行伸缩,该功能为白名单开放,如需要可 提交工单 联系我们开通。
一、节点扩缩容并发或互斥
| 进行中流程 | 支持扩容节点类型 | 支持缩容节点类型 |
| 扩容 task | task | task |
| 缩容 task | task | task |
| 扩容 core | 无 | 无 |
| 缩容 core | task | task |
| 扩容 router | 无 | 无 |
| 缩容 router | task | task |
| 扩容 master | 无 | 无 |
| 缩容 master | task | task |
二、扩容或缩容时支持并发流程
注意:说明:
注意:对于重启类操作,仅支持在角色管理页面去勾选节点操作。
| 进行中流程 | 可并行操作 | 前置条件 |
| 仅缩容时 | 配置下发 | – |
| 仅缩容时 | 开启 COS 功能 | – |
| 仅缩容时 | 新增服务 | – |
| 仅缩容时 | 卸载服务 | – |
| 仅缩容时 | 添加角色 | 需要排除掉正在扩缩容的节点 |
| 仅缩容时 | 添加联邦 NameService | – |
| 仅缩容时 | 移除角色 | 需要排除掉正在扩缩容的节点 |
| 扩容或缩容时 | 修改 ranger 元数据库 | – |
| 扩容或缩容时 | 编辑标签 | – |
| 扩容或缩容时 | 流程作业 | – |
| 扩容或缩容时 | 联邦同步挂载表 | – |
| 扩容或缩容时 | 联邦修改挂载表 | – |
| 扩容或缩容时 | 变更配置 | 需要排除掉正在扩缩容的节点 |
| 扩容或缩容时 | 重启 | 需要排除掉正在扩缩容的节点 |
| 扩容或缩容时 | 启动 | 需要排除掉正在扩缩容的节点 |
| 扩容或缩容时 | 停止 | 需要排除掉正在扩缩容的节点 |
| 扩容或缩容时 | 停止监控 | 需要排除掉正在扩缩容的节点 |
| 扩容或缩容时 | 启动监控 | 需要排除掉正在扩缩容的节点 |
| 扩容或缩容时 | 同步外部客户端 | 需要排除掉正在扩缩容的节点 |
| 扩容或缩容时 | 创建外部客户端 | 需要排除掉正在扩缩容的节点 |
| 扩容或缩容时 | 修复磁盘 | 需要排除掉正在扩缩容的节点 |
| 扩容或缩容时 | 扩容磁盘 | 需要排除掉正在扩缩容的节点 |
| 扩容或缩容时 | 集群脚本 | 需要排除掉正在扩缩容的节点 |
| 扩容或缩容时 | 挂载云盘 | 需要排除掉正在扩缩容的节点 |
| 扩容或缩容时 | 服务高级操作 | 需要排除掉正在扩缩容的节点 |
三、扩容或缩容时不支持并发流程
| 不可并行操作 |
| 重置原生 UI 密码 |
| 调整网络访问 |
| 变更组件配置 |
| 销毁集群 |
| 按量转包年包月 |
四、NodeManager 节点并行缩容配置文档
注意:1. 只支持 Hadoop3.x 版本的存量集群(2024年4月9日之前购买的集群)。
注意:2. 建议在业务低峰期,且没有扩缩容流程的情况下操作。
1. 修改 yarn-site.xml 中的配置 yarn.resourcemanager.nodes.exclude-path 为 /usr/local/service/hadoop/etc/hadoop/yarnexcludedhosts.xml。
2. 新增配置文件 yarnexcludedhosts.xml,配置如下:
·文件名称:yarnexcludedhosts.xml
·配置路径:/usr/local/service/hadoop/etc/hadoop
·权限属性:755
·用户组:hadoop
·用户名:hadoop
·内容:
<?xml version="1.0"?><hosts></hosts>
3. 重启 ResourceManager。
4. 查看 WebUI 或者执行 yarn nodes -list 进行检查。
5. 建议优雅缩容 task 节点一次,因为上述操作会修改 yarnexcludedhosts.xml 文件,避免后续出现问题。