一、产品系列
一图了解消息队列 TDMQ CKafka 版的产品系列。
·Serverful,CKafka 的经典形态,用户可以根据需求选购相应规格的集群,随着业务量变化,需要保持一定的关注在 CKafka 集群。
·Serverless,CKafka 的全新形态,目标是彻底释放用户的精力,更多地聚焦业务逻辑。
二、Serverful
Serverful 的集群类型,按照不同用户场景,分为专业版、高级版和标准版(停止新购),各个版本的对比如下:
| 项目 | 项目描述 | 专业版 | 高级版 | 标准版(停止新购) |
| 架构 | 部署架构 | 专享实例 | 共享物理节点资源 | 共享物理节点资源 |
| 稳定性 | SLA 保障 | 存储可用性:参考 CBS SLA 说明 | 存储可用性:参考 CBS SLA 说明 | 存储可用性:参考 CBS SLA 说明 |
| 规格 | 带宽规格范围 | 20~100000MB/s,详情参见 计费概述 | 20~360MB/s,详情参见 计费概述 | 40MB/s, 100MB/s, 150MB/s |
| | 存储 | 支持固定存储和弹性存储,其中弹性存储形态,存储空间理论上无上限,且按量付费 | 仅固定存储 | 仅固定存储 |
| | 扩容 | 自由度高,可单独扩容带宽、Topic/Partition 上限、磁盘 | 自由度高,可单独扩容带宽、Topic/Partition 上限、磁盘 | 自由度低,可以单独扩容磁盘 |
| | 公网流量 | 新版公网访问支持公网带宽升降配。不提供免费公网带宽额度,具体价格请参见 Serverful 实例价格说明 | 新版公网访问最大支持 3 Mbps 公网带宽,不提供免费公网带宽额度 | 默认提供 1 Mbps 免费公网带宽 |
| 隔离性 | Topic 限流 | ✓ | × | × |
| 安全管控 | SSL 认证 | ✓ | × | × |
| 智能运维 | 磁盘水位处理 | 动态消息保留策略;磁盘自动扩容 | 动态消息保留策略 | |
| | 弹性带宽 | ✓ | × | × |
| | 自动分区处理 | ✓ | × | × |
| | 一键诊断 | ✓ | × | × |
| 监控告警 | 高级监控 | ✓ | × | × |
| | 指标排序 | ✓ | × | × |
| | 事件日志 | ✓ | × | × |
| | 导出到 Prometheus | ✓ | × | × |
| 高可用 | 跨 AZ 高可用部署 | ✓ | ✓ | × |
| | 迁移可用区 | ✓ | × | × |
| 升级 | 引擎版本在线升级 | ✓ | × | × |
| | Broker 修复升级 | 快速升级 | 共享集群,周期较长 | 共享集群,周期较长 |
| 高级服务 | 技术服务 | 提供参数优化咨询服务,可以针对部分特殊的业务场景定制化参数配置,你可以 提交工单 申请 | 基础的故障处理和问题修复 | 基础的故障处理和问题修复 |
三、Serverless
注意:说明:
注意:Serverless 实例暂不支持事务、幂等、Compact。
经过大量的线上集群运行分析后,我们发现存在一些常见的现象:
1. 成本高。业务通常在一定的时间周期内,呈现一定规律的波峰波谷,为了业务稳定性,按照业务峰值来储备规格。
2. 扩容速度慢。由于目前 CKafka 经典形态下技术架构限制,扩容 Broker 时需要进行数据搬迁,TB 级别的数据经常可能需要数天的时间。
为了解决上述的问题,我们推出 CKafka 新一代的 Serverless 产品形态,以下为 CKafka Serverless 形态的详细介绍:
| 项目 | 项目描述 | Serverless 版 |
| 规格 | 预留带宽范围 | 生产预留带宽:90 ~ 1020 MB/s,步长为 30 MB/s消费预留带宽:30 ~ 1020 MB/s,步长为 10 MB/s消费预留带宽与生产预留带宽的比例上限为3:1 |
| | 弹性能力上限 | 最高提供2倍弹性,即:生产弹性能力上限 = 2 * 生产预留带宽消费弹性能力上限 = 2 * 消费预留带宽 |
| | 存储空间 | 存储空间理论上无上限,且按量付费 |
| | Partition 规格 | 当前上限:3000个分区(含副本)后续规划:随着更大生产预留带宽规格的推出,分区数上限将相应提升 |
| | Topic 规格 | 为保障数据可靠性,Serverless 实例仅支持创建3副本 Topic,Topic 规格为 Partition 规格/3 |
| | 消息保留时间 | 1 天 ~ 365 天 |
| | 调整配置 | 可单独对生产预留带宽、消费预留带宽进行升配或降配 |
| | 公网带宽 | 暂不支持公网访问 |
| 稳定性 | 跨 AZ 高可用部署 | ✓ |
| | 数据高可靠 | 3 副本 Topic 配置 |
| 安全管控 | SSL 认证 | ✓ |
| 消息查询 | / | ✓ |
| 智能运维 | 一键诊断 | ✓ |
注意:说明:
注意:CKafka Serverless 集群会根据流量情况进行弹性扩缩容(根据历史流量和一段时间内的业务增速,由系统自动决策并执行扩缩操作,扩容规格上限为集群的预留+弹性带宽,缩容规格下限为集群的预留带宽),在扩缩容过程中可能涉及底层资源的变动,同时有可能触发分区 leader 切换,建议你在使用 CKafka Serverless 集群的过程中,客户端配置支持重连、配置合适的重试次数及重试间隔,leader 切换过程中你的生产/消费端可能会出现 NotLeaderOrFollowerException 的报错,通常客户端重试后会自动恢复。
注意:如果你的业务场景对 leader 切换产生的重试较为敏感且灵活弹性能力非强诉求,建议你优先考虑使用专业版集群,CKafka 专业版集群支持开启弹性带宽。