容器服务 NodeProblemDetectorPlus 说明

一、版本说明

三、组件介绍

Node-Problem-Detector-Plus 是 Kubernetes 集群节点的健康监测组件。在容器服务 TKE 环境中以 DaemonSet 方式运行，帮助用户实时检测节点上的各种异常情况，并将检测结果报告给上游的 kube-apiserver。

支持检测的异常类型包括：操作系统级异常（内核死锁、文件系统只读、OOM 等）、容器运行时异常（Docker/Containerd 频繁重启）、NVIDIA GPU 硬件故障，以及海光 DCU 设备故障（掉卡、高温、ECC 错误、HySwitch 异常等）。

四、部署在集群内的 Kubernetes 对象

五、使用场景

使用 Node-Problem-Detector-Plus 组件可以监控节点的工作状态，包括内核死锁、OOM、系统线程数压力、系统文件描述符压力等指标，通过 Node Condition 和 Event 的形式上报给 apiserver。

你可以通过检测相应的指标，提前预知节点的资源压力，可以在节点开始驱逐 Pod 之前手动释放或扩容节点资源压力，防止 Kubernetes 进行资源回收或节点不可用可能带来的损失。

对于 GPU/DCU 异构计算节点，NPD 还能主动检测硬件故障（如设备丢失、温度过高、ECC 错误等），并通过 Node Condition 上报，方便运维侧及时发现并处理故障设备。

六、限制条件

在集群中使用 NPD，需要在集群内安装该扩展组件。NPD 容器资源限制（Limits）为 0.5 核 CPU、512M 内存，资源请求（Requests）为 0.1 核 CPU、200M 内存。

八、权限说明

该组件权限是当前功能实现的最小权限依赖。

九、权限场景

十、权限定义

rules:- apiGroups: – "" resources: – nodes verbs: – get – list – watch- apiGroups: – "" resources: – nodes/status verbs: – patch- apiGroups: – "" resources: – events verbs: – create – patch – update- apiGroups: – "" resources: – pods verbs: – list

十一、使用方法

1. 登录 容器服务控制台，在左侧导航栏中选择集群。

2. 在集群列表中，单击目标集群 ID，进入集群详情页。

3. 选择左侧菜单栏中的组件管理，在组件管理页面单击新建。

4. 在新建组件管理页面中勾选 Node-Problem-Detector-Plus。

5. 单击完成即可创建组件。组件安装成功后，你的集群中会有对应的 node-problem-detector 资源，在 Node 的 Condition 中也会增加相应的条目。

十二、检测项说明

NPD 内置多种检测器，按检测对象分为 6 大类。每类检测器均可在组件的高级配置中单独开启或关闭。

十三、系统内核检测

十四、容器运行时与 Kubelet 检测

十五、系统资源检测

十六、服务健康检查

十七、GPU（NVIDIA）硬件检测

NPD 通过 NVIDIA NVML 库主动轮询 GPU 硬件计数器，并解析系统日志中的 NVIDIA XID 错误码，双通道检测 GPU 硬件问题。

主动轮询检测：

注意：说明：

注意：GPUDeviceLost、GPUInfoROMCorrupted、GPURemappingRowsError、GPUPendingRetiredPages、GPUDoubleBitEccError、GPUHighSingleBitEccError、GPUPCIeError 属于永久性告警，一旦触发不会自动恢复为 False，需要人工确认硬件状态后重启 NPD 组件才能清除；其余检测项在故障消失后会自动恢复。

NVIDIA XID 日志检测：

xidMonitor 解析 GPU 系统日志（/var/log/messages）中形如 NVRM: Xid (PCI:xxx): <错误码>, <描述> 的记录，按错误码所属集合匹配为致命、警告、应用级、忽略、兜底五类，同一 Condition/Event 可能对应多个错误码：

注意：说明：

注意：致命、警告两类为 permanent 规则，触发后对应 Condition 置为 True 且长期保留，需要重启 NPD 组件才能清除；应用级、兜底两类为 temporary 规则，仅产生一次性 Event，不会体现在节点 Condition 中；忽略类命中后直接丢弃，不产生任何告警或事件。

十八、海光 DCU 硬件检测

NPD 通过海光管理工具 hy-smi 主动轮询 DCU 硬件计数器，并解析系统日志中的海光 XID/SXID 错误码，双通道检测 DCU 硬件问题。使用该能力需要节点已安装海光 DCU 驱动及 hy-smi 管理工具。

主动轮询检测：

海光 DCU XID 日志检测：

dcuXidMonitor 解析海光 DCU 日志中形如 hycu<设备地址> hycu: (serial:xxx) XID: <错误码>, info: <描述> 的记录，覆盖 DCU 硬件 RAS（可靠性、可用性、可服务性）模块、温度、驱动、固件等各类故障，同一 Condition/Event 可能对应多个错误码：

注意：说明：

注意：前 10 项为 permanent 规则，触发后对应 Condition 置为 True 且长期保留，需要重启 NPD 组件才能清除；后 3 项为 temporary 规则，仅产生一次性 Event，不会体现在节点 Condition 中。

海光 HySwitch SXID 日志检测：

dcuSxidMonitor 解析海光日志中形如 hyfm: SXID: <错误码> <描述>（HFM 管理任务上报）或 hsw<设备地址>: SXID: <错误码> <描述>（HySwitch 硬件直接上报）的记录，用于检测多 DCU 互联架构中 HySwitch 互联芯片及 HFM（HySwitch Fabric Manager）管理任务的故障，故障会导致整节点的 DCU 资源不可用：

注意：说明：

注意：致命、警告两类均为 permanent 规则，触发后对应 Condition 置为 True 且长期保留，需要重启 NPD 组件才能清除；兜底类为 temporary 规则，仅产生一次性 Event。SXID 200～207 由 HySwitch 硬件直接上报，SXID 20、251～265 由 HFM 管理任务上报，两者共用同一套 Condition。

20、Node Conditions

安装 NPD 插件后，会在节点中增加以下特定的 Conditions：

21、系统与运行时 Conditions

22、容器运行时与 Kubelet Conditions

23、NVIDIA GPU Conditions

在装有 NVIDIA GPU 的节点上，NPD 会注册以下 Conditions：

24、海光 DCU Conditions

在装有海光 DCU 设备的节点上，NPD 会注册以下 Conditions（需节点安装海光管理工具 hy-smi）：

25、NVIDIA GPU XID 错误码含义

以下为 xidMonitor 检测到的各 NVIDIA GPU XID 错误码具体含义，检测规则与对应 Condition/Event 详见「检测项说明 – GPU（NVIDIA）硬件检测」。

注意：说明：

注意：错误码 13、31、43、45、63、68、94 同时属于警告类和应用级；触发时会同时产生一次性 Event，并将对应的警告类 Condition 置为 True。错误码 64 仅属于应用级，只产生 Event，不会影响节点 Condition。未列出的其他错误码统一归为兜底分类，仅产生一次性 Event，用于发现新出现的未分类故障码。

26、海光 DCU XID 错误码含义

以下为 dcuXidMonitor 检测到的各海光 DCU XID 错误码具体含义，检测规则与对应 Condition/Event 详见「检测项说明 – 海光 DCU 硬件检测」。

注意：说明：

注意：未列出的其他 DCU XID 错误码统一归为兜底分类，仅产生一次性 Event，用于发现新出现的未分类故障码。

27、海光 HySwitch SXID 错误码含义

以下为 dcuSxidMonitor 检测到的各海光 HySwitch SXID 错误码具体含义，检测规则与对应 Condition/Event 详见「检测项说明 – 海光 DCU 硬件检测」。

注意：说明：

注意：SXID 200～207 由 HySwitch 硬件直接上报，SXID 20、251～265 由 HFM 管理任务上报，两者共用同一套 Condition。未列出的其他 SXID 错误码统一归为兜底分类，仅产生一次性 Event。