高性能计算集群 GPU 型实例监控和告警

你也可以在 腾讯云可观测平台 分析监控指标和实施告警，更多详细内容可参见 腾讯云可观测平台告警管理。

注意：说明：

注意：监控功能是通过在 GPU 型实例上部署安装相关 GPU 驱动、nvidia-fabricmanager 服务和 云服务器监控组件 来实现的，公共镜像默认包含云服务器监控组件，只需安装 GPU 驱动。如果你使用自定义镜像，需手动安装云服务器监控组件和 GPU 驱动。

一、在控制台查看 GPU 监控指标

单击 GPU 列表中的  监控图标， 访问 控制台 GPU 实例的监控页面，查看 GPU 监控，移动鼠标到指标曲线上将显示对应 GPU 设备的 BDF（Bus、Device、Function，设备唯一地址）和监控数据。如下：

参数说明：

二、在控制台查看 RDMA 监控指标

1. 在 高性能计算集群 中选择单击集群 ID 或查看详情，可看到集群的 GPU 服务器实例详情。

2. 单击 GPU 实例 列表中的  监控图标， 访问 腾讯云控制台 GPU 实例的监控页面，查看 RDMA监控（仅支持分钟级以上粒度），移动鼠标到指标曲线上将显示实例对应 bond 的监控数据。如下所示，当前支持 RDMA网卡发送带宽，RDMA 网卡接收带宽，RDMA 网卡出包量，RDMA 网卡入包量显示。

参数说明：

注意：说明：

注意：腾讯云也提供 RDMA 网络毫秒级监控的能力，需要安装毫秒级监控组件，实现在腾讯云 RDMA 环境中毫秒级的性能监控。操作步骤可参见 GPU 型实例安装 RDMA 毫秒级监控组件。

三、在腾讯云可观测平台查看监控指标

腾讯云可观测平台 支持分析更丰富的 GPU 监控指标。

1. 登录 腾讯云可观测平台，左侧导航栏中选择 Dashboard ，进入 Dashboard 列表页。

2. 在 Dashboard 列表中，单击 新建 Dashboard，在新的 Dashboard 选择新建图表。

查看 GPU 监控指标查看 RDMA 监控指标

在指标处选择 GPU / 云服务器 / GPU 监控，单击你关注的指标，自定义监控面板进行多实例展示：

参数详情可参见腾讯云可观测平台 GPU 云服务器监控指标，提供以下监控指标：

在指标处选择 云服务器 / RDMA 监控，单击你关注的指标，自定义监控面板进行多实例展示：

参数详情可参见腾讯云可观测平台 RDMA 监控指标，提供以下监控指标：

四、监控指标告警配置

配置 GPU 监控指标告警配置 RDMA 监控指标告警

1. 登录 腾讯云可观测平台，在左侧导航栏中，选择告警管理 > 告警配置。

2. 单击 新建告警策略，在监控类型选择云产品监控，策略类型中选择云服务器 / GPU 监控，选择你希望接收告警的 GPU 实例对象，触发条件选择手动配置。

3. GPU 云服务器监控支持以下指标告警：GPU 内存使用率、GPU 功耗使用率、GPU 使用率、GPU 温度、GPU 是否存在显存页需隔离、GPU 显存是否发生 UCE 等。你可以参考下图进行配置告警。告警通知的配置可参见 新建通知模板，支持通过多种渠道进行通知。

常用告警指标参考如下：

1. 登录 腾讯云可观测平台，左侧导航栏中选择告警配置，新建告警策略，监控类型选择云产品监控，策略类型选择云服务器 /RDMA 监控，选择告警对象。

指标告警参考如下配置：

2. 告警通知可参见 新建通知模板 配置，支持多渠道通知。

配置完成后策略查看截图如下：

告警示例截图如下：

高性能计算集群 GPU 型实例 RDMA 告警处理建议如下：