腾讯云产品
-
容器服务 节点资源预留算法(新)
TKE 需要占用节点的一部分资源来运行相关组件(例如:kubelet、kube-proxy、Runtime 等),因此节点的总资源与集群中可分配的资源之间会存在差异。这里说明 TKE 集群中 Kubernetes 版本在1.30及以上节点的新资源预留算法,帮助用户在部署应用时合理设置 Pod 的请求资源量和限制资源量。
-
容器服务 在 TKE 上部署满血版 DeepSeek-R1 (SGLang)
DeepSeek-R1 满血版模型参数是 671B(6710 亿参数),为了充分发挥其性能,推荐使用 SGLang 进行部署。SGLang 是性能强悍的 AI 大模型部署工具,与 DeepSeek 合作并专门针对 DeepSeek 进行了深度优化,也是 DeepSeek 推荐的部署工具。
-
云原生智能网关 云原生网关常见问题
这篇汇总云原生网关的常见问题,涵盖产品定义、购买计费、使用配置、性能规格、弹性伸缩及迁移实践。云原生网关基于Kong提供高性能高可用网关服务,支持南北向与东西向流量治理,并集成安全防护与可观测性。 购买与计费:支持按节点规格和数量购买,目前仅微服务场景支持新购。 使用配置:支持K8s、注册中心、CVM等多种服务来源及TCP、HTTP等协议,通过多可用区部署保障高可用。 迁移实践:提供自建Kong和Spring Clo。
-
容器服务 服务升级指南
如何将集群中的普通节点通过“服务升级”功能切换至原生节点,以便在不更换 CVM 机器资源的情况下享受成本优化服务。
-
容器服务 JVM 接入
在使用 Java 作为开发语言时,需要监控 JVM 的性能。Prometheus 监控服务通过采集应用暴露出来的 JVM 监控数据,并提供了开箱即用的 Grafana 监控大盘。
-
云原生智能网关 全局配置(操作指南)
全局配置用于集中维护 AI 网关所依赖的外部中间件连接信息。其核心工作原理是:你在此创建一条全局配置并填写连接地址、端口、凭证等信息,网关下的策略配置通过下拉选择的方式引用该配置,无需在每个模型 API 中重复填写;当连接信息需要变更时,只需修改全局配置一次,所有引用方同步生效。
-
容器服务 容器集群网络规划
在 TKE 中创建集群时,需要根据具体的业务情况进行集群、VPC、子网以及节点可用区的规划,这篇将介绍 VPC 环境下集群内各个地址的作用,以及如何进行集群网络规划。
-
容器服务 部署大模型常见问题
通常 Ollama 和 vLLM 的 latest 容器镜像中的 CUDA 版本能兼容大部分 GPU 卡和驱动,但能否成功运行大模型,和 CUDA、GPU卡及其驱动、PyTorch(vLLM)以及大模型本身都可能有关系,很难枚举所有情况。尤其是 vLLM,并非所有大模型都能支持,并且它依赖于 PyTorch,而不同 PyTorch 版本能兼容的 CUDA 版本也不一样,不同 CUDA 版本能兼容的 GPU 驱动版。
-
容器服务 nvidia-gpu 简介
该组件通过自动发现节点上的 NVIDIA GPU(nvidia.com/gpu)作为可调度资源来帮助运行需要 GPU 资源的容器;同时支持自动部署监控 exporter,提供了卡、Pod 和容器级别的 GPU 监控。
-
容器服务 入门示例
这篇说说如何使用腾讯云容器服务快速创建标准集群,涵盖注册、充值、授权、新建集群(含集群信息、组件配置、信息确认)及查看与删除集群的完整步骤。 新建集群:需配置集群名称、规格、地域、网络及组件等信息。 查看与删除:创建后可在控制台查看集群详情,删除前需关闭集群删除保护。