一、资源利旧
企业需要迁移上云,但在本地数据中心已经进行了投资,在 IDC 有存量的服务器资源(CPU 资源、GPU 资源)。可以通过注册节点的特性,将 IDC 主机资源添加到 TKE 公有云集群,确保在上云过程中存量服务器资源得到有效利用。
二、集群托管运维
免去在本地搭建、运维 K8s 集群的成本,由腾讯云统一运维管控,用户仅需要运维本地服务器即可。
三、混合部署调度
支持在单集群内同时调度注册节点与云上 CVM 节点,便于将云下业务拓展至云上,无需引入多集群管理。
四、无缝集成云端服务
注册节点无缝集成腾讯云云原生相关服务,涵盖日志、监控、审计、存储、容器安全等云原生能力。
五、专线版产品架构
用户可以将自身 IDC 环境通过专线 + 云联网的方式和腾讯云 VPC 之间打通,然后通过内网将 IDC 节点接入到 TKE 集群,实现 IDC 节点和云上 CVM 的统一纳管。其架构图如下:
六、专线版约束条件
使用注册节点能力前,需要保证环境是满足约束要求的,否则无法正常使用注册节点产品功能。
·操作系统约束:注册节点对操作系统无强制版本限制,推荐使用 TencentOS Server 4、TencentOS Server 3.1 或 TencentOS Server 2.4(TK4),详情请参见 TencentOS Server 产品概述。
·硬件约束(GPU):仅支持 NVIDIA 系列显卡,包括:Volta(如 V100)、Turing(如 T4)、Ampere(如 A100、A10)。
·云上云下连通:云联网+专线打通。
·TKE 集群约束:1.18及以上版本,云上必须有至少一个节点,用于部署 CoreDNS 等依赖组件(暂不支持集群仅添加注册节点)。
七、专线版节点端口放通
为了保障混合云集群云上云下互通,需要在云上和 IDC 节点分别放通一系列端口。
·云上节点:云上节点使用满足 TKE 要求的安全组 容器服务安全组设置。如果 TKE 集群使用 cilium overlay 网络模式,则节点还需额外放通。
·入站规则
| 协议 | 端口 | 来源 | 策略 | 备注 |
| UDP | 8472 | 集群网络 CIDRIDC 网络 CIDR | 允许 | 放通集群节点 vxlan 通信 |
·出站规则
| 协议 | 端口 | 目的 | 策略 | 备注 |
| UDP | 8472 | 集群网络 CIDRIDC 网络 CIDR | 允许 | 放通集群节点 vxlan 通信 |
·IDC 节点:在节点上设置防火墙规则放通端口。
·入站规则
| 协议 | 端口 | 来源 | 策略 | 备注 |
| UDP | 8472 | 集群网络 CIDRIDC 网络 CIDR | 允许 | 放通集群节点 vxlan 通信 |
| TCP | 10250 | 集群网络 CIDRIDC 网络 CIDR | 允许 | 放通 API Server 通信 |
·出站规则
| 协议 | 端口 | 目的 | 策略 | 备注 |
| UDP | 8472 | 集群网络 CIDRIDC 网络 CIDR | 允许 | 放通集群节点 vxlan 通信 |
| TCP | 80、443、9243、10250、60002 | 代理子网 SUBNET | 允许 | 放通云上代理通信 |
八、网络模式
对于 TKE 集群不同网络类型,注册节点上 Pod 网络能力也存在一定的限制,说明如下:
·GlobalRouter 和 VPC-CNI 网络模式集群:云下 IDC 节点上 Pod 仅支持使用 hostNetwork 网络模式,此模式下云下 pod 只能通过 host 网络和云上互通。
·Cilium-Overlay 网络模式集群:TKE 团队特别为混合云推出的容器网络方案,云上云下 Pod 处于同一 overlay 网络平面,可以实现云上云下 pod 互通。
网络说明信息详见 网络模式。
九、公网版产品架构
如果用户因为某些客观因素,无法打通 IDC 和腾讯云之间的专线,同时用户又期望通过 TKE 管理 IDC 内节点,降低搭建和运维 K8s 的成本,可以使用注册节点公网版产品,通过 Internet 将 IDC 节点注册到 TKE 进行统一管理。其架构图如下:
注意:和专线版不同,公网版由于只能通过 Internet 和 TKE 互通,默认情况下,云上 CVM 和云下 IDC 是两个完全隔离的分区,暂时无法支持云上节点和云下节点的 Pod 网络互通。因此,该产品模式建议用户将 IDC 机房节点作为一个独立的节点池进行管理以及业务调度,避免云上云下 Pod 互访(可以通过 Ingress 等其他方式实现云上云下业务互访)。
十、公网版约束条件
使用注册节点公网版前,需要保证环境是满足约束要求的,否则无法正常使用注册节点产品功能。
·操作系统约束:注册节点对操作系统无强制版本限制,推荐使用 TencentOS Server 3.1 或 TencentOS Server 2.4(TK4)。
·TKE 集群约束:
·K8s 1.20及以上版本。
·“容器网络插件”需要选择 Global Router。
·云上必须有至少一个 CVM 节点(暂不支持集群仅添加注册节点)。
·网络约束:IDC 节点可以和腾讯云 CLB 互通,能够访问 CLB 的 TCP 443 和 9000 端口。
·硬件约束(GPU):当前暂时不支持 GPU 节点。
注意:当前公网版只开放给创建时间在2023年11月9日 12:00:00之后的集群使用。现有存量集群待后续产品规划,会逐渐放开此能力限制。
十一、公网版节点端口放通
为了保障 IDC 环境和 TKE 集群互通,需要在云上和 IDC 节点分别放通一系列端口。
·云上节点:云上节点使用满足 TKE 要求的安全组 容器服务安全组设置。
·IDC 节点:在节点上设置防火墙规则放通端口,同时设置规则允许访问公网镜像仓库。
·镜像仓库:保证在 IDC 节点可以访问 ccr.ccs.tencentyun.com 以及 superedge.tencentcloudcr.com
·入站规则
| 协议 | 端口 | 来源 | 策略 | 备注 |
| UDP | 8472 | 集群网络 CIDRIDC网络 CIDR | 允许 | 放通集群节点 vxlan 通信 |
| TCP | 10250 | 集群网络 CIDRIDC网络 CIDR | 允许 | 放通 API Server 通信 |
·出站规则
| 协议 | 端口 | 目的 | 策略 | 备注 |
| UDP | 8472 | 集群网络 CIDRIDC网络 CIDR | 允许 | 放通集群节点 vxlan 通信 |
| TCP | 443、9000 | 公网版对应的 CLB 地址 | 允许 | 放通访问云上 CLB 地址,提供节点注册和云边隧道服务 |
十二、网络模式
对于注册节点公网版,云上和云下的网络天然隔离,因此云上节点会使用 GR 网络在云上节点之间实现 Pod 互通,云下节点会使用 Flannel 网络在 IDC 节点之间实现 Pod 互通,而云上 Pod 和云下 Pod 之间默认隔离。
十三、注册节点与云上节点能力对比
| 分类 | 能力 | 云上节点 | 注册节点(专线版) | 注册节点(公网版) |
| 节点管理 | 添加节点 | ✔ | ✔ | ✔ |
| | 移除节点 | ✔ | ✔ | ✔ |
| | 设置节点标签、污点 | ✔ | ✔ | ✔ |
| | 节点封锁、驱逐 | ✔ | ✔ | ✔ |
| | 通过节点池批量管理 | ✔ | ✔ | ✔ |
| | Kubernetes 版本升级 | ✔ | 暂无 | 暂无 |
| 存储卷 | 本地存储 ( emptyDir、hostPath 等 ) | ✔ | ✔ | ✔ |
| | Kubernetes API ( ConfigMap、Secret… ) | ✔ | ✔ | ✔ |
| | 腾讯云云硬盘 CBS | ✔ | 无 | 无 |
| | 腾讯云文件存储 CFS | ✔ | ✔ | 无 |
| | 腾讯云对象存储 COS | ✔ | ✔ | 无 |
| 可观测性 | 支持 Prometheus 监控服务 | ✔ | ✔ | 暂无 |
| | 支持云产品监控 | ✔ | 无 | 暂无 |
| | 支持日志对接 CLS | ✔ | ✔ | 暂无 |
| | 支持集群审计 | ✔ | ✔ | ✔ |
| | 支持事件存储 | ✔ | ✔ | ✔ |
| 流量接入 | 支持 ClusterIP 类型 Service | ✔ | ✔ | ✔ |
| | 支持 NodePort 类型 Service | ✔ | ✔ | ✔ |
| | 支持 LoadBalancer 类型 Service | ✔ | ✔基于腾讯云负载均衡 CLB | 无 |
| | 支持 CLB 类型的 Ingress | ✔ | ✔ | 无 |
| | 支持 Nginx 类型的 Ingress | ✔ | ✔ | 无 |
| 其他 | 支持 qGPU | ✔ | 无 | 无 |