一、概述
·采集速率显著提升:在正则、多行等计算密集型场景下,LogListener 3.4.0及以上版本的采集速率提升多倍。
·低负载资源优化:在常规写入速率下,CPU 资源消耗较 LogListener 3.4.0以下版本降低约 30%。
·隔离稳定性增强:通过对关键链路进行系统性优化,有效化解高压场景下的采集瓶颈,确保数据上报的连续性。
下文将从文件采集速率及资源消耗等维度,对 LogListener 3.4.0及以上版本的性能表现进行说明,对比参照了 LogListener 3.4.0以下版本和某主流友商产品的采集器。
二、测试环境
·实例规格:标准型 S6 | 4核 CPU | 16GB 内存。
·公网带宽:200Mbps。
·存储:增强型 SSD 云硬盘。
·写入速率:10MB/s、20MB/s、60MB/s、100MB/s。
·对比对象:LogListener 3.4.0以下版本、主流友商采集器。
三、文件采集速率
在单行、多行、正则、分隔符、JSON 等典型日志采集场景下,对 LogListener 3.4.0及以上版本、LogListener 3.4.0以下版本以及主流友商采集器进行了对比测试,整体结果如下。
四、单行全文模式
在各档写入速率下,LogListener 3.4.0及以上版本、LogListener 3.4.0以下版本、与友商采集器的采集性能基本持平,三者表现接近。
五、多行全文解析模式
在低写入速率(10MB/s – 20MB/s)场景下,LogListener 3.4.0及以上版本、LogListener 3.4.0以下版本、与友商采集器的采集性能基本持平;在日志写入速率超过60MB/s的高压场景中,LogListener 3.4.0及以上版本具备明显采集性能优势,相较于 LogListener 3.4.0以下版本及主流友商采集器,采集性能可提升约1.5 – 2倍。
六、单行正则解析模式
在低写入速率(10MB/s – 20MB/s)场景下,LogListener 3.4.0及以上版本、LogListener 3.4.0以下版本、与友商采集器的采集性能基本持平;在写入速率超过60MB/s的高压场景中,LogListener 3.4.0及以上版本的采集性能较 LogListener 3.4.0以下版本提升约2倍;在写入速率达到100MB/s时,LogListener 3.4.0及以上版本的采集速率约为友商的2.6倍。
七、多行正则解析模式
在低写入速率(10MB/s – 20MB/s)场景下,LogListener 3.4.0及以上版本与 LogListener 3.4.0以下版本性能持平,略优于友商;在写入速率超过60MB/s时,LogListener 3.4.0及以上版本的采集性能较 LogListener 3.4.0以下版本和友商均提升约40%。
八、分隔符解析模式
在低写入速率(10MB/s – 20MB/s)下性能各方基本持平;当写入速率达到60MB/s及以上时,LogListener 3.4.0及以上版本的采集性能相较 LogListener 3.4.0以下版本提升约3 – 3.5倍,与主流友商产品处于同一水平。
九、JSON 解析模式
在各档写入速率下,LogListener 3.4.0及以上版本、LogListener 3.4.0以下版本,以及友商采集性能基本持平;在写入速率达到100MB/s时,LogListener 3.4.0及以上版本接近友商,略高于 LogListener 3.4.0以下版本。
十、CPU 资源使用说明
以单行全文日志场景为例,展示各个采集器在不同写入速率下的 CPU 资源消耗情况。
在低写入速率(10MB/s – 20MB/s)下,LogListener 3.4.0及以上版本 CPU 消耗明显低于 LogListener 3.4.0以下版本(降幅约 30%);高写入速率下三方接近,LogListener 3.4.0以下版本整体表现稳定。
| 写入速率 | LogListener 3.4.0及以上版本 | LogListener 3.4.0以下版本 | 友商 |
| 10MB/s | 2.18% | 3.11% | 2.64% |
| 20MB/s | 3.33% | 4.67% | 3.51% |
| 60MB/s | 7.57% | 7.24% | 4.31% |
| 100MB/s | 8.23% | 7.80% | 6.40% |
十一、内存资源使用说明
以单行全文日志场景为例,展示各采集器在不同写入速率下的资源消耗情况。
整体来看,在各档写入速率下,LogListener 3.4.0及以上版本的内存占用相对 LogListener 3.4.0以下版本有所提升。其原因在于 LogListener 3.4.0及以上版本为应对高压写入、网络抖动及下游写入波动等场景,引入了更完善的内存缓冲机制,内存占用虽有增加,但换取了更稳定的持续上报能力与更高的处理性能,有效避免关键链路阻塞扩散,为业务流程的顺畅运行提供资源保障。
| 写入速率 | LogListener 3.4.0及以上版本 | LogListener 3.4.0以下版本 | 友商 |
| 10MB/s | 0.44% | 0.19% | 0.20% |
| 20MB/s | 0.70% | 0.18% | 0.19% |
| 60MB/s | 2.35% | 0.16% | 0.17% |
| 100MB/s | 3.87% | 0.16% | 0.19% |
总结
在高写入速率与复杂解析场景下,LogListener 3.4.0及以上版本相对 LogListener 3.4.0以下版本而言,提升了日志采集的吞吐能力与采集完整性,在多行、正则及分隔符等高压场景中表现更加稳定。在资源使用方面,LogListener 3.4.0及以上版本的整体 CPU 使用效率优于 LogListener 3.4.0以下版本,虽然内存占用提升但换取了更稳定的持续上报能力与更高的处理性能。