消息队列 CKafka 版 配置消息保留机制

一、消息保留机制概述

Kafka 通过日志分片滚动和日志保留策略协同管理消息生命周期。

二、日志分片滚动

在 Kafka 中，每个主题（topic）被划分为多个分区（partition），每个分区的日志被进一步划分为多个分片（segment）。Kafka 通过以下两种方式控制日志分片的滚动：

·基于时间的滚动（segment.ms）：当当前活动分片的存在时间超过配置的 segment.ms 时，Kafka 会关闭当前分片并创建一个新的分片。

·基于大小的滚动（segment.bytes）：当当前活动分片的大小达到配置的 segment.bytes 时，Kafka 会关闭当前分片并创建一个新的分片。

一旦日志分片被关闭，它就变为非活动状态，成为日志保留策略的管理对象。

三、日志保留原理

Kafka 的日志保留策略决定了消息在被删除之前可以保留多长时间或占用多大空间。Kafka 提供以下两种保留策略：

·基于时间的保留（retention.ms）：配置 retention.ms 来指定消息的保留时间。超过该时间的非活动分片将被删除。

·基于大小的保留（retention.bytes）：配置 retention.bytes 来指定每个分区的最大日志大小。超过该大小的旧分片将被删除。

当上述任一条件满足时，Kafka 会删除符合条件的非活动分片。

注意：说明：

注意：消息生命周期不直接受控，而是由其所在分片的删除时间决定：若分片因滚动延迟未关闭，则即使消息超时仍保留。

四、消息保留机制示意图

注意：Kafka 以分片为单位删除文件，而非逐条删除消息。若某消息在活跃分片内，即使超时也不会被删除。

五、日志分片滚动配置

注意：说明：

六、日志保留配置

注意：说明：

七、场景一：期望消息保留1天

客户配置：

·retention.ms 设置为1天。

·segment.ms 设置为1天。

极端情况（日志产生量较低）分析：

·Kafka 的 segment.ms 最小只能为1天，当日志量特别少的时候，日志每天滚动一次，生成一个新的 segment 。

·因此，最多会有2个 segment 同时存在：

·第1天产生的 segment（已经滚动到非活动）。

·第2天当前活动的 segment 。

·非活动 segment 在满足保留条件时才会删除：

·客户希望保留期1天后第1个 segment 可删除。

·但当前活动 segment 至少要达到1天才能被关闭并标记为非活动。

因此，实际消息可能最大保留2天（1个活动+1个非活动分片）。

结论：

·日志量少的时候，极端情况下，实际消息最大保留时间可能达到：2天。

·日志量正常的时候，实际消息最大保留时间约是1天。

八、场景二：期望保留日志1小时

客户配置：

·retention.ms 设置为1小时。

·segment.ms 设置为1天。

极端情况（日志产生量较低）分析：

·假设日志量极少，未达到1GB，始终无法触发基于 segment.bytes (1GB) 的滚动，Kafka 只能在1天后强制滚动一次。

·同时活动 segment 始终有1小时内的日志，只能达到至少1天才滚动。

·这种情况下，消息实际上可能被保留：1天（非活动分片）+1小时（日志过期时间），最长可达到25小时。

结论：

·日志量少的时候，极端情况下，实际消息最大保留时长可能达到：1天 + 1小时（即25小时）。

九、配置建议表