智能顾问 集群节点资源(CPU、内存、磁盘)压测故障案例

容器节点(如 Kubernetes 集群中的工作节点)承载着容器资源,负责运行和管理容器实例。在节点业务 QPS 骤增或者服务内存泄露时,可能导致节点资源利用率增高,从而影响业务甚至导致业务进程被杀死。

相关产品
智能顾问 产品页,含版本规格、价格与购买入口。

一、背景

为了提高容器服务的可靠性和稳定性,需进行节点故障演练。通过演练,可以验证系统在容器节点出现故障时能否正常运行,提前暴露此故障场景下的一系列问题,以便优化系统架构并做好应急预案。

二、步骤一:演练准备

·选择可用的容器节点,添加实例,部署测试服务。若已有可以演练的容器节点,则直接创建演练。

·进入探针管理页面为 CVM 节点安装探针,具体安装方式请参考 探针管理 进行操作。

三、步骤二:创建演练

1. 登录 智能顾问控制台 > 架构治理,进入治理模式,点击混沌演练。(详细创建演练方式请参阅 使用智能顾问进行混沌演练 )

2. 点击新建演练,填写演练基本信息,完成后点击下一步。

3. 在演练实例中,选择容器-标准集群普通节点,选择后点击搜索添加,添加实例资源。亦可通过架构图添加方式,直接点击架构图上的 TKE 资源,选择实例进行添加。

4. 完成添加实例后,点击添加动作,分别在 CPU 资源、内存资源、磁盘资源分类下,选择 CPU 利用率高、内存利用率高、磁盘使用率高、磁盘 IO 负载故障动作。

5. 根据需要修改动作参数(该演示直接采用默认值进行演练)。

5.1 CPU 利用率高

注意:说明:

5.2 内存利用率高

注意:说明:

5.3 磁盘使用率高

注意:说明:

5.4 磁盘 IO 负载

注意:说明:

6. 参数配置完成之后,在全局配置中选择执行方式、护栏策略,及添加可观测指标。配置完成后,点击提交,即可完成演练任务创建。

四、步骤三:执行演练

1. 演练任务创建完成后,自动进行全局环境检测,未通过的环境检测项按提示内容进行操作。

2. 环境检测通过后,点击故障动作组中的执行,或下方开始演练,注入故障。

3. 观察节点监控指标,CPU 利用率达到预设值,并且在到指定时间完成恢复。

4. 执行内存利用率高动作,观察监控指标。

5. 执行磁盘利用率高动作,进入终端使用 df 命令查看使用率。

6. 执行磁盘IO高负载动作,进入终端使用 iostat 命令观察。

注意:说明:

注意:iostat -x 可查看块设备运行状态的详细信息,该动作主要查看 %util 参数,表示设备发出 I/O 请求所用时间的百分比,当接近100%时表示设备带宽利用率几乎达到了其最大容量,使整个磁盘性能下降,严重影响处理其他读写请求。

赞 (0)
上一篇 4天前
下一篇 4天前