一、背景
这篇档旨在介绍如何在腾讯云标准集群环境中,针对 CPU、内存、磁盘资源进行故障模拟,以帮助开发和运维团队更好地理解和准备应对可能的系统故障。
二、步骤一:演练准备
·准备一个 TKE 容器实例,部署一个测试Pod。
·进入探针管理页面为 TKE 容器安装探针,具体安装方式请参考 探针管理 进行操作。
注意:说明:
注意:由于 Serverless 集群与标准集群故障注入过程和故障表现一致,参考这篇的标准集群故障实践即可。
三、步骤二:演练编排
1. 登录 智能顾问控制台 > 架构治理,进入治理模式,点击混沌演练。(详细创建演练方式请参阅 使用智能顾问进行混沌演练 )
2. 点击新建演练,填写演练基本信息,完成后点击下一步。
3. 在演练实例中,选择容器-标准集群 Pod,选择后点击搜索添加,添加实例资源。亦可通过架构图添加方式,直接点击架构图上的 TKE 资源,选择实例进行添加。
4. 完成添加实例后,点击添加动作,选择故障注入动作,并配置故障动作参数。
·配置 CPU 利用率高动作
注意:说明:
·配置内存利用率高动作
注意:说明:
·配置磁盘使用率高动作
注意:说明:
注意:如果文件大小、磁盘使用率、保留空间参数都存在,优先级计算逻辑为: 磁盘使用率 > 保留空间 > 文件大小。
·配置磁盘 IO 负载高动作
注意:说明:
5. 参数配置完成之后,在全局配置中选择执行方式、护栏策略,及添加可观测指标。配置完成后,点击提交,即可完成演练任务创建。
四、步骤三:执行演练
1. 点击执行 CPU 利用率高动作,开始执行演练,观察监控指标。
2. 执行内存利用率高动作,观察监控指标。
3. 执行磁盘使用率高动作,登入容器后使用 df 命令观察磁盘负载逐步提高达到指定使用率,执行回滚动作后恢复至常态。
4. 执行磁盘 IO 高负载动作,登入容器后使用 iostat 命令观察。
·故障中
·回滚后