腾讯云产品
-
容器服务 部署大模型常见问题
通常 Ollama 和 vLLM 的 latest 容器镜像中的 CUDA 版本能兼容大部分 GPU 卡和驱动,但能否成功运行大模型,和 CUDA、GPU卡及其驱动、PyTorch(vLLM)以及大模型本身都可能有关系,很难枚举所有情况。尤其是 vLLM,并非所有大模型都能支持,并且它依赖于 PyTorch,而不同 PyTorch 版本能兼容的 CUDA 版本也不一样,不同 CUDA 版本能兼容的 GPU 驱动版。
-
容器服务 nvidia-gpu 简介
该组件通过自动发现节点上的 NVIDIA GPU(nvidia.com/gpu)作为可调度资源来帮助运行需要 GPU 资源的容器;同时支持自动部署监控 exporter,提供了卡、Pod 和容器级别的 GPU 监控。
-
容器服务 入门示例
这篇说说如何使用腾讯云容器服务快速创建标准集群,涵盖注册、充值、授权、新建集群(含集群信息、组件配置、信息确认)及查看与删除集群的完整步骤。 新建集群:需配置集群名称、规格、地域、网络及组件等信息。 查看与删除:创建后可在控制台查看集群详情,删除前需关闭集群删除保护。
-
云原生智能网关 通过 AI 网关调用混元 API
AI 网关调用混元 API 是通过统一接口管理多个 AI 模型访问,实现高效、安全、可扩展的 AI 能力集成。它简化了混元 API 的调用流程,提供流量控制、监控和计费等一站式服务。这篇将快速引导你完成首次配置,体验通过 AI 网关调用混元大模型服务的完整流程。你将依次完成模型密钥、模型服务、模型 API 的配置,并创建调用方身份(消费者与消费者组),最终通过网关成功发起调用。
-
容器服务 核心应用流量完全无损升级
对于某些核心的应用(如流量网关),我们不希望升级过程中出现任何故障。在升级这类核心应用时,会采用极为保守的策略,宁愿操作繁琐,也要确保风险完全可控。这意味着需要先确保待升级的 Pod 完全被摘流,然后再手动重建 Pod 触发升级,持续经现网流量灰度一段时间后,如果一切正常,再逐步扩大灰度范围。如果期间发现任何问题,可随时回滚已升级副本。
-
容器服务 Dataplane V2 转发模式
TKE 推出新一代 Kubernetes 网络数据平面——Dataplane V2。与之前版本相比,Dataplane V2 具有以下优势。
-
云原生智能网关 通过 AI 网关实现 WorkBuddy 以 OAuth 2.0 授权码模式访问存量 HTTP 业务系统
企业已有 OAuth 2.0 授权服务器(IdP),存量 HTTP 业务系统通过 OAuth 2.0 授权码模式(Authorization Code)获取的动态 Token 进行访问。当你希望企业员工在 WorkBuddy 企业版等 MCP 客户端中,经 AI 网关 MCP 服务访问这些存量 HTTP 系统,并且每位员工以个人身份完成授权、使用动态 Token 访问时,可使用这里说明的能力。
-
容器服务 备份恢复实践
这篇档以误删除集群中的 “service-controller” 资源为例,介绍备份与恢复操作流程。
-
容器服务 使用数据加速器 GooseFS
腾讯云容器服务 TKE 支持通过创建 PersistentVolume(PV)和 PersistentVolumeClaim(PVC),并为工作负载挂载数据卷的方式使用腾讯云数据加速器 GooseFS。这里说明如何在 TKE 集群中为工作负载挂载对象存储。
-
容器服务 自建 Nginx Ingress 实践教程
Nginx Ingress 提供的功能和配置都是非常多和灵活,可以满足各种使用场景,自建可以解锁 Nginx Ingress 的全部功能,并根据自己需求,对配置进行自定义,还能够及时更新版本。