一、前提条件
原生节点底层宿主机异常告警需同时开启日志服务功能,请参见 日志采集 和 事件日志。
二、异常事件类型
| 类型 | 含义 | 应对建议 |
| 实例运行隐患(101) | 实例当前运行正常,但监控到实例宿主机或底层平台存在软硬件隐患,可能导致实例性能抖动,或存在异常宕机风险。 | 为尽快完成维护以规避底层软硬件隐患,避免潜在的宕机风险,建议你提前备份好业务数据,系统在计划维护时间自动发起维护。 |
| 实例运行异常(102) | 实例底层宿主机突发软硬件故障或系统错误,导致实例异常宕机或重启。 | 当监控到实例运行异常类型的异常事件触发时,平台已在第一时间执行相关维护操作,并尝试对异常实例进行重启以快速恢复实例可用性。建议你等待实例自动重启完成。 |
| 实例硬盘异常(103) | 实例本地硬盘突发故障,可能导致实例 I/O 性能降低或硬盘功能受损。 | 为尽快完成维护以恢复异常硬盘可用性,建议你提前备份好业务数据。 |
| 实例硬盘预警(106) | 实例本地硬盘存在坏盘隐患或使用寿命即将耗尽,可能导致实例 I/O 异常或磁盘掉线等数据层面异常。 | 为尽快完成维护以消除本地硬盘潜在的故障风险,建议你提前备份好业务数据。 |
| 实例网络连接异常(104) | 实例底层网络连接突发故障,可能会引起实例网络抖动或导致网络连接异常。 | 当监控到实例网络连接异常类型的异常事件触发时,平台已在第一时间对底层网络执行相关维护操作,并尝试恢复异常实例的网络连接可用性。建议你等待实例网络连接自动修复完成。 |
| 实例维护升级(107) | 实例因底层宿主机架构、软件升级等原因需要发起在线维护,以提升实例性能及安全性。 | 为尽快完成维护以提升实例性能及安全性,建议你提前备份好业务数据,等待系统在计划维护时间自动发起维护。 |
三、开启事件日志
请参见 日志采集、事件日志。
四、配置告警通知
1. 登录 日志服务控制台,选择左侧导航栏中的监控告警 > 告警策略。
2. 单击新建,即可新建日志告警策略,详情请参见 配置告警策略。
3. 主要参数信息如下:
·监控对象:选择日志主题,可实现多集群的批量配置。
·执行语句:event.reason 配置为上述异常事件类型。可配置多个执行语句,例如:
event.reason:"实例运行隐患(101)"
·通知渠道:支持邮件、短信、微信、电话、企业微信、钉钉、飞书、自定义接口回调。
五、查看异常事件
1. 登录 日志服务控制台,选择左侧导航栏中的监控告警 > 告警历史。
2. 在告警历史中,选择策略时间范围、告警策略。
六、通过 EB 事件总线订阅故障通知
除通过 K8s 事件日志和告警接收故障通知外,原生节点底层宿主机的异常事件还会同步推送至 EB(事件总线)。你可在 EB 控制台订阅相关事件,以灵活接收故障通知(支持邮件、短信、企业微信、Webhook 等多种渠道)。EB 控制台开通操作请参见 订阅事件通知。
EB 事件总线中,TKE 原生节点的故障事件类型对应上文“异常事件类型”表中描述的事件(实例运行隐患、实例运行异常、实例硬盘异常等)。订阅时请在 EB 控制台选择云产品事件来源,并筛选 TKE 相关原生节点事件。你可在 EB 中订阅的 TKE 云产品事件请参见 云产品事件列表 – 容器服务。