云服务器特惠 99/年起
  1. 腾讯云优惠网首页
  2. 腾讯云产品

容器服务 NVIDIA MPS 特性介绍

• 腾讯云产品

NVIDIA Multi-Process Service（以下简称 MPS）是 NVIDIA CUDA 提供的多进程 GPU 共享机制，允许多个进程或容器同一时刻在同一块物理 GPU 上并行执行 CUDA Kernel，从而显著提升单卡 GPU 利用率。

相关产品
容器服务 产品页，含版本规格、价格与购买入口。

一、操作场景

腾讯云容器服务 TKE 通过 nvidia-gpu Addon（1.0.5及以上版本） 集成了 NVIDIA nvidia-device-plugin 的 MPS 能力，你可以一键开启 GPU 共享，无需自行部署 mps-control-daemon、ConfigMap 等组件。

二、适用业务场景

场景 说明
AI 推理服务 模型 batch 较小、单实例无法占满 GPU 时，多副本共享同卡可显著降本。
交互式开发 Jupyter / VSCode Server 等长时间占卡但低算力消耗的场景。
CI/CD 流水线 短时编译、单元测试等碎片化 GPU 任务。
批处理任务 Spark / Flink GPU 算子，每个 Executor 算力需求不高。

三、关键组件

组件 部署形态 职责
nvidia-device-plugin-daemonset DaemonSet 向 kubelet 注册 GPU 资源；按 ConfigMap 中的 replicas 将 1 张物理卡虚拟为 N 个 nvidia.com/gpu；为业务容器注入 MPS 环境变量与共享卷。
nvidia-mps-control-daemon DaemonSet 在节点 host 上常驻 MPS 控制进程；准备 /run/nvidia/mps 共享内存目录；按 ConfigMap 配置创建 per-resource 的 pipe/log 目录。
nvidia-device-plugin-configs ConfigMap 描述 GPU 共享策略；TKE 内置 mps-1x/mps-2x/mps-4x 三种预设。

四、MPS 资源隔离能力

资源 控制方式 是否硬限制
显存 CUDA_MPS_PINNED_DEVICE_MEM_LIMIT 环境变量。 Volta+ 硬限制（超限 OOM）；Pre-Volta 仅地址空间分区。
算力 CUDA_MPS_ACTIVE_THREAD_PERCENTAGE 环境变量（0–100）。 软限制（占比上限）。
客户端数 MPS server 内置上限。 Volta+ 最多 48；Pre-Volta 最多 16。

五、开启 MPS

版本要求：MPS 依赖 nvidia-gpu 组件版本 ≥ v1.0.5。低于该版本的集群请先在组件管理中将 nvidia-gpu 升级至 v1.0.5 或更高版本。

六、安装时开启

在集群页面左侧，运维中心 > 组件管理中单击新建，选择 nvidia-gpu 组件，单击参数配置，开启 MPS 并选择 GPU 切分数，单击确定。

七、通过更新配置开启

在集群页面左侧，运维中心 > 组件管理中找到 nvidia-gpu 组件，单击更新配置开启 MPS。

八、节点级别精细化配置

若希望集群中部分节点开启共享、部分节点保持独占，可通过节点标签 nvidia.com/device-plugin.config 选择不同配置：

# 节点 A：独占模式kubectl label node <node-A> nvidia.com/device-plugin.config=mps-1x –overwrite# 节点 B：1 卡分 2 份kubectl label node <node-B> nvidia.com/device-plugin.config=mps-2x –overwrite# 节点 C：1 卡分 4 份kubectl label node <node-C> nvidia.com/device-plugin.config=mps-4x –overwrite# config-manager sidecar 会监听该标签变化并热更新本节点的 device-plugin 配置（无需重启 Pod）。

九、使用 MPS 共享 GPU

开启 MPS 后，业务 Pod 申请 GPU 的方式不变，只是获得的是逻辑卡而非物理卡。

### 示例 1：基础推理 Pod—apiVersion: v1kind: Podmetadata: name: mps-inference-demospec: containers: – name: cuda-app image: nvidia/cuda:12.0-base command: ["sleep", "infinity"] resources: limits: nvidia.com/gpu: 1 # 申请 1 份 MPS 共享单元（在 mps-2x 配置下 = 1/2 卡）### 示例 2：限制显存与算力### 通过 CUDA 环境变量精细化控制单容器对 GPU 的使用：—apiVersion: v1kind: Podmetadata: name: mps-with-limitsspec: containers: – name: cuda-app image: nvidia/cuda:12.0-base resources: limits: nvidia.com/gpu: 1 env: – name: CUDA_MPS_PINNED_DEVICE_MEM_LIMIT value: "4294967296" # 显存硬限制 4GiB（单位：字节，仅 Volta+ 生效） – name: CUDA_MPS_ACTIVE_THREAD_PERCENTAGE value: "25" # 算力上限 25%### 示例 3：调度到特定节点配置—apiVersion: v1kind: Podmetadata: name: mps-on-4x-nodespec: nodeSelector: nvidia.com/device-plugin.config: mps-4x containers: – name: cuda-app image: nvidia/cuda:12.0-base resources: limits: nvidia.com/gpu: 1 # 在 mps-4x 节点上 = 1/4 卡

十、验证与运维

1. 检查节点 GPU 资源数量

# 在 mps-2x 配置下，1 张物理卡应展示为 2 个 nvidia.com/gpukubectl describe node <gpu-node> | grep -E "nvidia.com/gpu"# 期望输出：# nvidia.com/gpu: 2

2. 检查组件运行状态

# device-plugin DaemonSetkubectl get ds nvidia-device-plugin-daemonset -n kube-system# mps-control-daemon DaemonSetkubectl get ds nvidia-mps-control-daemon -n kube-system# 应有的 Podkubectl get pod -n kube-system -l qcloud-app=nvidia-device-plugin-daemonsetkubectl get pod -n kube-system -l qcloud-app=nvidia-mps-control-daemon

3. 日志排查

# device-plugin 日志kubectl logs -n kube-system <nvidia-device-plugin-daemonset pod> \\ -c nvidia-device-plugin-ctr –tail=200# mps-control-daemon 日志kubectl logs -n kube-system <nvidia-mps-control-daemon pod> \\ -c mps-control-daemon-ctr –tail=200# config-manager 热更新日志kubectl logs -n kube-system -l qcloud-app=nvidia-device-plugin-daemonset \\ -c config-manager-sidecar –tail=200

十一、常见问题

Q1：开启 MPS 后节点 GPU 资源数量没变？

1. 确认 mps.default 不是 mps-1x（mps-1x 即独占模式）。

2. 确认节点没有 nvidia.com/device-plugin.config 标签覆盖到 mps-1x。

3. 查看 config-manager-sidecar 日志确认 ConfigMap 已正确加载。

Q2：业务 Pod 报 CUDA_ERROR_OUT_OF_MEMORY？

多容器同时跑可能导致显存超额。请按 业务实际显存需求 × 副本数 ≤ 物理显存 规划。在 Volta+ GPU 上设置 CUDA_MPS_PINNED_DEVICE_MEM_LIMIT 加硬限制。

Q3：MPS 与 qGPU 能否同时使用？

不能。MPS 由 NVIDIA 上游 device-plugin 提供，qGPU 由腾讯云 elastic-gpu-agent 提供，两者各自管理 GPU 资源命名空间，节点维度互斥。

十二、注意事项与限制

1. 架构限制：MPS 显存硬隔离仅在 Volta（V100、Tesla T4）及更新架构上可用。

2. 客户端上限：单 GPU MPS 同时连接客户端 ≤ 48（Volta+）或 ≤ 16（Pre-Volta）。

3. MIG 互斥：节点开启 MIG 时不能再用 MPS；同 GPU 上仅能选一种切分方案。

4. 错误传播：MPS 客户端的 GPU fatal error 可能波及其他客户端（弱错误隔离）。如对错误隔离要求高，请使用 MIG 或 qGPU。

5. 共享内存依赖：MPS 通过 /dev/shm 进行 IPC，业务 Pod 在某些场景下可能需要 hostIPC: true（典型如自实现 MPS client 的应用）；多数 CUDA 应用走 device-plugin 自动注入的 pipe 目录即可。

十三、相关文档

·NVIDIA MPS 产品文档

·nvidia-device-plugin 仓库

·qGPU 概述

·TKE GPU 节点准备

相关内容：

  1. 容器服务 nvidia-gpu 简介 该组件通过自动发现节点上的 NVIDIA GPU（nvidia.com/gpu）作为可调度资源来帮助运行需要 GPU 资源的容器；同时支持自动部署监控 exporter，提供了卡、Pod 和容器级别的 GPU 监控。...
  2. 容器服务 nvidia-gpu 说明 这篇记录腾讯云容器服务中nvidia-gpu组件的版本变更历史，包括各版本新增功能（如MPS支持、cgroup v2适配）、问题修复及升级注意事项，所有升级均建议在业务低峰期进行。 v1.0.5：升级nvidia-device-plugin到v0.18.2，支持MPS特性。 v1.0.4：修复GPU Pod启动失败及并发读写map导致panic的问题。 v1.0.0：首次发布，集成TKE自研GPU exporter。...
  3. 容器服务 节点初始化流程 FAQ 这篇列举了腾讯云节点初始化流程中的常见报错，包括安装组件、注册节点及GPU相关失败原因，并说明需检查网络、安全组、自定义镜像或GPU驱动等问题。 安装节点组件：报错多因网络、安全组或自定义镜像问题导致Cloud Init或agent失联。 等待节点注册：Kubelet启动失败常由参数设置错误引起。 GPU相关：GPU组件或资源注册失败需检查驱动、Device Plugin调度及节点资源。...
  4. 高性能计算集群 GPU 型实例安装 nvidia-fabricmanager 服务 高性能计算集群实例搭载了 A100/A800/H800 GPU 并支持 NVLink & NVSwitch，需额外安装与驱动版本对应的 nvidia-fabricmanager 服务使 GPU 卡间能够互联。如果你使用该实例，请参考这篇安装 nvidia-fabricmanager 服务，否则可能无法正常使用 GPU 实例。...
  5. 容器服务 PCC Device Plugin 说明 pcc-device-plugin 是 TKE 提供的机密计算设备插件，用于将节点上的 AMD SEV-SNP 硬件设备（/dev/sev-guest）和 PCC 通信 Socket（/var/run/pcc）自动暴露给业务容器。该组件基于 Kubernetes Device Plugin 框架实现，以 DaemonSet 形式部署在启用了机密计算能力的原生节点上，支持 Pod 通过标准资源请求方式获取机密计算设备访。...
  6. TencentOS Server NVIDIA 部署实践 目前，TencentOS Server 4 已实现对 NVIDIA Driver 和 CUDA 的原生支持，使用 NVIDIA GPU 提供了完整的 RPM 二进制软件包，包括内核级驱动、系统管理工具、计算库及AI框架适配组件。...
  7. 基于 Linux GPU 云服务器安装 NVIDIA Container Toolkit 在 Docker 中，容器默认无法直接访问宿主机的 GPU 资源。为了解决这一限制，NVIDIA 提供了 NVIDIA Docker 容器支持方案，用于将宿主机的 GPU 运行时环境映射到容器中。该方案经历了多个阶段的演进，从最初的 nvidia-docker、nvidia-docker2，发展到现在的 NVIDIA Container Toolkit。...
  8. GPU 云服务器 升级 NVIDIA 驱动 NVIDIA GPU 实例需要安装驱动后才可以正常使用，根据业务属于计算或渲染场景，需选择适用的驱动类型和安装方式。腾讯云提供多样化的安装方法，使你能够在创建 GPU 实例时或创建后根据具体需求选择最适合的驱动部署方式，以确保 GPU 云服务器的正常运作并实现更高效的计算和渲染性能。...
赞 (0)
上一篇 4天前
下一篇 4天前