一、背景
为了提高 CVM 的可靠性和稳定性,需要进行故障模拟演练,验证系统在 CPU、内存、磁盘等资源利用率过高的情况下是否能够正常运行,以便提前做好相应的应急预案。
二、步骤一:演练准备
·准备一台可以演习的 CVM 实例。
·进入探针管理页面为 CVM 节点安装探针,具体安装方式请参考 探针管理 进行操作。
三、步骤二:演练编排
1. 登录 智能顾问 > 混沌演练控制台,进入演练管理页面,单击新建演练,点击跳过,新建空白演练。
2. 填写演练基本信息。
3. 填写演练动作组信息,选择主机-CVM。
4. 添加演练实例。
5. 添加演练动作,点击立即添加,并配置故障动作参数。
·配置 CPU 利用率高故障动作参数
注意:说明:
·配置内存利用率高故障动作参数
注意:说明:
·配置磁盘使用率高故障动作参数
注意:说明:
注意:如果文件大小、磁盘使用率、保留空间参数都存在,优先级计算逻辑为: 磁盘使用率 > 保留空间 > 文件大小。
·配置磁盘 IO 负载故障动作参数
注意:说明:
6. 动作参数配置完成之后,单击下一步。然后根据实际情况配置护栏策略和监控指标,完成所有配置之后,单击提交,完成演练创建。
四、步骤三:执行演练
1. 点击执行 CPU 利用率高动作开始执行演练。
2. 观察监控指标,发现 CPU 负载达到指定使用率,执行回滚动作后恢复。
3. 执行内存利用率高动作,以配置的占用速率,使内存利用率达到指定的大小,执行回滚后恢复稳态。
登入机器,使用 top+m 观察:
注意:说明:
注意:[root@VM-22-12-tencentos ~]# cat /proc/meminfoMemTotal: 1721620 kB //系统总内存(RAM)大小MemFree: 111260 kB //未被使用的内存大小MemAvailable: 349964 kB //可用于启动新进程的内存大小,该值考虑了系统缓存和缓冲区的使用情况Buffers: 59624 kB //用于文件系统缓冲区的内存大小Cached: 570612 kB //用于文件系统缓存的内存大小……Shmem: 269980 kB //共享内存的大小……SReclaimable: 46308 kB //可回收的内核内存缓存大小
4. 执行磁盘使用率高动作,登入机器后使用 df 命令观察磁盘达到指定使用率,执行回滚动作后恢复至常态。
·故障中
·回滚后
5. 执行磁盘 IO 高负载动作,进入终端使用 iostat 命令观察。
·故障中
·回滚后