腾讯云可观测平台 容器服务(云产品事件列表)

这篇列出了腾讯云容器服务(TKE)集群的监控事件,涵盖APIServer过载、GPU异常、节点OOM、Pod异常、磁盘/内存不足、CoreDNS风险等,并给出了各事件的处理建议。 APIServer过载:需排查异常客户端或扩容控制面。 节点OOM:需查看系统日志并调整内存限制。 CoreDNS风险:需多副本部署或升级版本。

相关产品
腾讯云可观测平台 产品页,含版本规格、价格与购买入口。

由客户云上购买和使用的资源实例与产品产生的监控事件包括:

事件中文名 事件英文名 type 有无恢复概念 事件描述 处理方法与建议
集群当前 APIServer 负载较高 High APIServer load tke:ErrorEvent:ApiserverOverloadWarn 有 集群 APIServer 负载较高,接近告警阈值 排查是否有异常客户端高频调用、是否有控制器在大量 reconcile,必要时扩容控制面
当前节点 GPU 状态异常(节点 Pod 已经被驱逐) Node GPU status abnormal (Pods on the node have been drained) tke:ErrorEvent:NodeGpuStatusWarn 有 节点 GPU 出现异常,节点上的 Pod 已被驱逐 检查节点 GPU 驱动与硬件状态,确认 nvidia-device-plugin 运行正常,及时处理被驱逐 Pod 的调度问题
当前节点 GPU 状态异常(Pod 启动可能存在异常) Current node GPU status abnormal (There may be Pod startup exceptions.) tke:ErrorEvent:NodeGpuStatusSerious 有 节点 GPU 出现严重异常,Pod 启动可能存在异常 检查节点 GPU 设备文件、驱动版本及硬件健康度,必要时联系运维进行硬件维修
控制台操作事件(基于操作审计投递) Console operations (CloudAudit) tke:CloudEvent:ConsoleCall 无 通过腾讯云控制台对 TKE 集群执行了操作(基于操作审计投递) 确认操作是否为预期行为,记录操作人与时间用于审计
云 API 操作事件(基于操作审计投递) Cloud API actions (CloudAudit) tke:CloudEvent:ApiCall 无 通过云 API 对 TKE 集群执行了操作(基于操作审计投递) 确认操作是否为预期行为,保存 requestID 便于问题追溯
节点 OOM Node OOM tke:ErrorEvent:SystemOom 有 节点内核发生 OOM,已触发 OOM Killer 查看节点 syslog 与 dmesg 日志,定位内存消耗过高的进程或 Pod,必要时扩容节点或调整 Pod 内存限制
Pod 状态异常 Pod status error tke:ErrorEvent:PodStatusWarn 有 Pod 处于异常状态(CrashLoopBackOff、ImagePullBackOff 等) 使用 kubectl describe pod 与 kubectl logs 查看事件详情,定位镜像、配置或资源问题后修复
节点网络不可达 Node network is unreachable tke:ErrorEvent:NodeNetworkUnavailable 有 节点网络不可达,处于 NotReady 状态 检查节点网络配置、安全组规则、VPC 路由与网卡状态,使用 kubectl describe node 查看详细事件
节点磁盘空间已耗尽 Node disk space is exhausted tke:ErrorEvent:NodeOutOfDisk 有 节点磁盘空间已耗尽,kubelet 停止向该节点调度新 Pod 清理无用文件或扩容节点数据盘,必要时驱逐低优先级 Pod 释放空间
集群 CoreDNS 高可用存在安全隐患 High-risk SPOF detected on cluster CoreDNS tke:ErrorEvent:CorednsHaRisk 无 集群 CoreDNS 高可用存在安全隐患(如单副本部署) 将 CoreDNS 调整为多副本部署并配置反亲和性,避免单点故障影响集群 DNS 解析
集群 CoreDNS 域名解析可能存在问题 Cluster CoreDNS domain name resolution may be abnormal tke:ErrorEvent:CorednsNslookupWarn 无 集群 CoreDNS 域名解析可能存在问题 检查 CoreDNS Pod 状态、节点 resolv.conf 配置及上游 DNS 连通性
主机节点 oom Host node OOM tke:ErrorEvent:Oom 有 主机节点发生 OOM,触发 OOM Killer 查看节点 syslog 与 dmesg 日志,定位内存消耗过高的进程或 Pod,必要时扩容节点或调整 Pod 内存限制
节点磁盘空间将要耗尽 Node disk space is about to run out tke:ErrorEvent:NodeHasDiskPressure 有 节点磁盘空间即将耗尽(剩余不足 15% 或 1GiB) 清理无用文件、扩容数据盘或驱逐低优先级 Pod,避免节点进入 NoSchedule 状态
小程序操作事件(基于操作审计投递) Mini program operations (CloudAudit) tke:CloudEvent:MiniProgramCall 无 通过小程序对 TKE 集群执行了操作(基于操作审计投递) 确认操作是否为预期行为,记录小程序来源便于审计
节点跨可用区容灾存在风险 Risks found in across-AZ node disaster recovery tke:ErrorEvent:NodeHaWarn 无 节点跨可用区容灾存在风险(所有节点位于同一可用区) 将工作负载节点分布到多个可用区,提升集群抗可用区级故障能力
集群节点存在高风险单点故障 High-risk SPOF detected on cluster nodes tke:ErrorEvent:NodeHaSerious 无 集群节点存在高风险单点故障(关键组件无副本) 为关键组件配置多副本并跨可用区部署,移除单点故障隐患
节点内存将要耗尽 Node memory is about to run out tke:ErrorEvent:NodeHasInsufficientMemory 有 节点内存即将耗尽(剩余不足 100MiB) 检查内存使用热点 Pod,必要时扩容节点或调整 Pod 资源 requests/limits
集群当前 APIServer 严重过载 Extremely high APIServer load on the cluster tke:ErrorEvent:ApiserverOverloadSerious 有 集群 APIServer 严重过载,流量超过告警阈值 立即排查异常调用源,必要时扩容控制面或限流异常客户端
节点 Inode 不足 Insufficient node inode tke:ErrorEvent:NodeInodePressure 有 节点 Inode 使用率过高,文件系统无法创建新文件 定位并清理产生大量小文件的容器或目录,必要时扩容数据盘
集群当前资源数量超过了推荐值 Number of resources in the cluster exceeds the recommended value tke:ErrorEvent:ApiserverEtcdObjectCountsWarn 有 集群当前资源数量超过了推荐值 清理无用资源(孤儿 Pod、过期 ConfigMap 等),拆分集群或扩容 etcd
集群当前资源数量超过了最大配额 Number of resources in the cluster exceeds the quota. tke:ErrorEvent:ApiserverEtcdObjectCountsSerious 有 集群当前资源数量超过了最大配额 立即清理无用资源或拆分集群,避免 etcd 写入失败影响控制面
节点异常 Node exception tke:ErrorEvent:NodeNotReady 有 节点状态变为 NotReady,无法被调度 使用 kubectl describe node 查看具体原因,检查 kubelet、容器运行时及节点资源状态
全部事件 All events tke:ErrorEvent:All 无 全部事件的过滤选项 仅在需要全量审计或测试时使用,建议按业务需要订阅具体事件类型以降低噪音
集群 CoreDNS 版本存在安全隐患 Risk found at cluster CoreDNS version tke:ErrorEvent:CorednsVersionRisk 无 集群 CoreDNS 版本存在已知风险或已停止维护 升级 CoreDNS 到当前稳定版本,参考升级文档验证兼容性
集群规格自动升配成功 AutoUpgradeClusterLevelSucceed tke:ErrorEvent:AutoUpgradeClusterLevelSucceed 无 集群规格自动升配成功 在控制台确认升配后规格与计费变更,评估业务资源配额是否需要同步调整
容器服务变更发布成功 ReleaseSuccess tke:ErrorEvent:ReleaseSuccess 无 容器服务变更发布成功 记录发布版本号与时间,关注业务指标确认发布效果
容器服务变更发布失败 ReleaseFail tke:ErrorEvent:ReleaseFail 无 容器服务变更发布失败 查看发布日志定位失败原因,修复后重试或执行回滚
容器服务变更发布取消 ReleaseCancel tke:ErrorEvent:ReleaseCancel 无 容器服务变更发布被取消 确认取消原因,评估是否需要重新发起发布
容器服务变更审批成功 ReleaseApproveSuccess tke:ErrorEvent:ReleaseApproveSuccess 无 容器服务变更审批通过 记录审批人与审批时间,满足合规留痕要求
因费用不足导致集群规格自动升配失败 AutoUpgradeClusterLevelFailForInsufficientFunds tke:ErrorEvent:AutoUpgradeClusterLevelFailForInsufficientFunds 无 因账户余额不足导致集群规格自动升配失败 及时充值或调整集群规格自动升配策略,避免影响业务可用性
集群 ip-masq-agent NonMasqueradeCIDRs 配置缺失风险 IpmasqCidrLackRisk tke:ErrorEvent:IpmasqCidrLackRisk 无 集群 ip-masq-agent NonMasqueradeCIDRs 配置缺失,集群网段 SNAT 存在风险 修改 kube-system 命名空间下名为 ip-masq-agent-config 的 ConfigMap,将集群网段加入 NonMasqueradeCIDRs
实例维护升级(107) InstanceMaintenanceUpgrade tke:ErrorEvent:InstanceMaintenanceUpgradeWarn 无 节点宿主机需要在线维护升级(架构或软件升级) 提前将业务 Pod 驱逐到其他节点或确认具有高可用能力,配合完成维护窗口
实例硬盘预警(106) InstanceDiskWarning tke:ErrorEvent:InstanceDiskWarningWarn 无 节点本地硬盘存在坏盘隐患或寿命将尽 提前迁移业务 Pod,联系运维进行硬盘更换或维修
实例网络连接异常(104) InstanceNetworkException tke:ErrorEvent:InstanceNetworkExceptionWarn 无 节点底层网络连接突发故障 关注业务连通性指标,联系运维定位并恢复网络
实例硬盘异常(103) InstanceDiskException tke:ErrorEvent:InstanceDiskExceptionWarn 无 节点本地硬盘突发故障 迁移业务 Pod,联系运维进行硬件修复
实例运行异常(102) InstanceRunningException tke:ErrorEvent:InstanceRunningExceptionWarn 无 节点宿主机突发软硬件故障,实例异常宕机或重启 立即迁移业务 Pod 并联系运维进行故障排查
实例运行隐患(101) InstanceRunningRisk tke:ErrorEvent:InstanceRunningRiskWarn 无 节点宿主机存在软硬件隐患 提前迁移业务 Pod 并联系运维进行预防性维护
赞 (0)
上一篇 4天前
下一篇 4天前