容器服务 nvidia-gpu 简介

一、部署在集群内的 Kubernetes 对象

二、限制条件

支持 Kubernetes 1.16及以上版本的集群。

三、权限说明

该组件权限是当前功能实现的最小权限依赖。

四、权限场景

五、权限定义

kind: ClusterRoleapiVersion: rbac.authorization.k8s.io/v1metadata: name: nvidia-gpu-exporterrules: – apiGroups: – "" resources: – pods – nodes verbs: – get – list – watch

六、安装

·若你在集群中创建了 GPU 节点且未开启 qgpu 功能，平台将自动安装该组件，你可前往集群的组件管理页面管理。

·若你的集群已经存在 GPU 节点且希望能采集到 GPU 相关的基础监控数据，你可以按照以下步骤进行安装：

1.1 登录 容器服务控制台，在左侧导航栏中选择集群。

1.2 在集群列表中，单击目标集群 ID，进入集群详情页。

1.3 选择左侧菜单栏中的组件管理，在组件管理页面单击新建。

1.4 在新建组件管理页面中勾选 nvidia-gpu。

1.5 单击完成即可创建组件。

注意：已经存在 GPU 节点的集群在首次安装本组件时，需检查集群中是否已存在 DaemonSet nvidia-device-plugin-daemonset。如果存在，请先删除该 DaemonSet，然后再安装本组件 nvidia-gpu。删除 DaemonSet 不影响存量已运行的 GPU 业务 Pod，安装期间新建的 GPU Pod 会在安装完成后自动运行。

七、查看监控

你可通过控制台提供的基础监控查看卡/Pod/容器相关的 GPU 监控，详情请参见 查看监控数据。

注意：组件版本限制：GPU 监控查看需要你将组件 monitor-agent 升级至1.3.11及以上。组件详情请参见 tke-monitor-agent 说明。

八、GPU 卡相关指标

GPU 卡的指标形式为：

gpu_core_usage{card="0",node="10.0.66.4"} 0

注意：说明：

注意：“card” 表示 GPU 的序号，“node” 表示所在节点。

九、Pod 相关指标

Pod 的指标形式为：

pod_core_usage{namespace="default",node="10.0.66.4",pod="7a2fa737-eef1-4801-8937-493d7efb16b7"} 0

注意：说明：

注意：“namespace” 表示 Pod 所在的 namespace，“node” 表示 Pod 所在节点，“pod” 表示 Pod 的名称。

十、容器相关指标

容器的指标形式为：

container_gpu_utilization{container="cuda",namespace="default",node="10.0.66.4",pod="cuda"} 0

注意：说明：

注意：“container” 表示容器名称，“namespace” 表示容器所在的 namespace，“node” 表示容器所在节点，“pod” 表示容器所在的 Pod 的名称。