日志服务 LogListener 版本变更

相关产品

日志服务产品页，含版本规格、价格与购买入口。

这篇档为你介绍日志服务 LogListener 的版本更新记录。

版本号	变更类型	描述	相关文档
v3.6.7	新功能	支持关闭 LogListener 自身日志输出。密钥支持 locksmith。目录扫描支持按文件修改时间过滤，超过1周的历史文件不再打开。CLS 接口签名去掉 Host，并支持上报 group_label 标签。	–
	体验优化	修复心跳访问静态析构对象而导致野指针问题。修复由于 fd 超限导致目录打开失败时，误清理采集位点问题。修复 GetFileCreateTime 在 stx_btime 缺失时误用 atime 导致全量重采（XFS/老 ext4 容器卷）问题。修复 EKS 场景 isMatchConfig workload 匹配分支未校验 pod.Namespace，导致跨 Namespace 误匹配问题。	–
v3.6.6	新功能	支持外部 main 程序使用 pkg/pipeline_manager 开发插件与管理流水线。LogListener Go pipeline 支持纯 bytes 结构流转，不强制转 pb。支持插件对点位进行 CRUD 操作。支持指定工作目录启动 LogListener。LogListener 框架层提供 .so 与 ABI 接口，插件可独立开发，解耦主框架。支持 Journal 日志采集。文件读取支持 cache 能力，fileserver 下发给 process 时确保是完整的行。支持 LogListener 免密鉴权方案。processor_add_fields 插件支持多种字段添加模式。日志时间支持纳秒精度，采集端支持纳秒精度采集。	采集 Journal Log使用 UIN 安装（弱鉴权）
	体验优化	自监控支持通过 self_monitor.cls_uin 指定指标上报账号。完善 LogListener 自监控指标：补齐细分类失败埋点和 TopicNotExist 告警埋点。新架构 LogListener 默认关闭解析失败日志相关能力。修复 HeartbeatResponse 中 mUpdateDoc/mPolicyDoc allocator 悬垂指针导致升级功能失效问题。新架构 LogListener 安装时增加老架构采集器冲突检测。修复采集配置缓存脏数据问题。修复 v3.6.4 原地升级场景中异步更新 pipeline、同步删除点位导致重复采集问题。修复 EKS 采集配置只采集标准错误不生效，连同标准输出一并采集问题。修复 Pod 删除瞬间最后一批日志丢失 tag 元数据问题。修复 LogListener 异步发送 body 时悬垂指针导致上报数据被污染问题（ARM 场景高发，v3.6.4）。	–
v3.6.5	新功能	去掉 log-agent 依赖。log-agent 不再生成 loglistener.yaml、loglistener.conf、loglistener_logger.conf 和 account.bin，改由 LogListener Docker 插件管理维护。日志采集支持环境变量配置。cls-provisioner 支持监听 OneCollectorConfigs，并将配置同步到 CLS 服务端。自建 K8s 支持通过 Rancher 安装，并支持 K3s。自建 K8s 支持在华为云安装。新增 netcollector Input 插件，支持 eBPF 网络拓扑采集。	–
v3.6.4	新功能	loglistener_operator 安装增加 SKIP_OS_SUPPORT_CHECK 参数跳过 OS 检查。容器场景支持加载本地采集配置。采集器新增插件 – 字段新增插件。采集器新增插件 – 字段脱敏插件。	–
	体验优化	主机 IP 获取增加回环网卡与回环地址过滤。上下文时间赋值逻辑调整 – 时间戳获取以 Process 开始处理的时间为主。Process 插件处理失败后日志输出打印 filename。LogListener 3.6.3内存占用高问题排查修复。升级域名解析兼容 internal 域名格式。升级流程可重入保护：Go operator 侧文件锁防并发。LogListener 收到 sigpipe 信号未忽略导致程序终止未拉起问题修复。LogListener EKS 场景 CRD Name 前缀删除清理逻辑 + hostfile 挂载/子目录匹配/事件队列合并。	–
v3.6.3	新功能	流水线架构升级：LogEventGroup 数据模型重构。LogListener 单测/压测体系建设。时间戳校验以动态库方式提供给 CGI。LogListener 安装支持指定是否加载本地采集配置。指标支持跨域上传。主机指标监控架构迁移，新增 input_host_metrics 与 output_cls_metrics 插件。Go Pipeline 插件框架搭建。主机监控指标 – 补充 instanceid。采集新架构支持一键上报客户端信息到指定 cos 桶。指标采集支持高可用、多副本。	–
	体验优化	单行采集场景下空行日志不采集。多行采集模式下空行采集。容器场景优化命令行参数顺序：将 run_mode 提升至首位参数，防止误操作导致启动异常。清理龙虾 session 文件采集的代码。Syslog 采集从旧框架迁移到 Go 插件流水线框架，新增 input_syslog 插件。流水线编排优化 – 支持 LogListener 混合与 GoNative 模式流水线管理。eks 分支合并 main，支持自监控上报。采集器安装 OS 支持白名单新增 ol/sles/kylin/anolis 四种操作系统。LogListener 插件 Init 容错改造，初始化失败按照解析失败逻辑处理。采集器新架构自监控上报支持降级 HTTP。EKS LogConfig 场景适配优化（SourceKey 丢失/containerID 校验/配置残留/UDS 超时）。修复 %A 星期全称时间解析失败问题（文档示例格式不可用）。修复 %p (AM/PM) 12小时制时间解析失败。修复 %z 解析 Z (UTC) 时区时忽略时区偏移，时间偏差8小时。修复 Docker API 版本不兼容导致容器标准输出采集失败的问题，实现客户端自动适配宿主机 Docker daemon 版本。修复 loglistener.yaml 更新时插件侧全局配置无法热加载问题。修复 stat 文件失败产生脏数据问题。	–
v3.6.2	体验优化	修复插件收到 Broken Pipe 信号透传到 LogListener 侧导致进程退出未拉起问题。	–
v3.6.1	体验优化	支持可观测能力指标上报。修复分隔符、json 采集模式在标准输出场景保留原始内容携带标准输出内容。修复容器场景开启原始日志上报内容带有容器标识问题。	LogListener 可观测指标
v3.6.0	体验优化	json 采集支持原始内容上传。采集新架构优化时间解析，支持非标准时间格式解析。2.x 版本升级过程中偶发老版本进程无法正常 kill 问题优化。修复 job 类任务包含 initcontainer 时，pod 状态一直处于未 ready 状态，导致不采集。	–
v3.5.13	体验优化	极速轮转场景下轮转事件过多导致事件队列堆积，从而导致内存高问题优化。支持通过 CRI 和 polling 感知容器事件。修复末尾没有换行的特定场景 CPU 100%问题。修复容器场景一个 pod2个 container，其中一个 container 一直异常，导致 pod 一直未 ready，正常启动的 container 日志没有采集问题。修复容器场景一个 pod2个 container，2个 container 同时都挂载了相同 volume 或者 hostpath，会导致采集2份的问题。修复 logconfigv2版本标准输出采集配置，pod 销毁以后采集配置残留。会造成容器 meta 信息缺失。修复 TKE 环境下偶发 metadata 缺失问题。	–
v3.5.12	体验优化	支持自恢复能力。修复 moveto 场景下文件被立即清理，导致 reader 创建失败返回 null 进而引发程序 crash 的问题。修复 Docker 场景下 delete 事件触发后采集点位被清理，导致日志重复采集的问题。	–
v3.5.11	体验优化	优化升级脚本，gcc4.8.5以下版本不允许升级到新架构。LogListener 新架构 eks 版本移除 kubeclient。修复在增量采集配置中新增采集路径后，系统未按增量策略采集新路径下的日志，而是采集了修改配置前已写入的历史日志问题。修复采集容器标准输出多行全文日志时，最后一条日志缺失 container_source 字段的问题。	–
v3.5.10	新功能	TKE 日志采集功能支持 Node 级元数据。容器采集支持对 namespace 进行星号（*）模糊匹配。补充容器 stdout / stderr 字段兼容性上报方案。	–
	体验优化	密钥管理工具增强唯一性校验：新增 / 更新密钥时自动校验，避免重复添加。修复多租户场景下删除用户后重新添加，导致日志停止采集的问题。修复 LogListener 执行 ak -a delete 命令时误删所有密钥的问题。修复删除 default 账户后重新添加，server_config 目录无法拉取采集配置的问题；同时解决删除账户时心跳拉取配置冲突导致的配置脏数据问题。修复新架构下日志时间解析时，%f 格式无法识别毫秒和微秒的问题。	–
v3.5.9	体验优化	修复当日志文件大小超过1M且无换行符、同时日志持续输出时，程序出现死锁的问题。	–
v3.5.8	新功能	支持发送聚合。容器采集支持根据标准输出/标准错误进行过滤。	–
	体验优化	优化安装脚本模式使用 https 访问方式策略，优化后根据端口号判断。修复文件大小为0且长时间未写入，点位会被清理的问题。修复组合解析模式采集的日志元数据丢失问题。修复 TKE filePath 挂载文件场景路径识别错误问题。修复聚合逻辑空指针 crash 问题。修复 check 命令执行出 core 问题。	–
v3.5.7	新功能	容器新架构配置参数支持从环境变量中获取。Linux 场景支持上传日志时内网/公网切换。Label 机器组场景支持动态 IP 获取。	–
v3.5.6	体验优化	修复 LogListener 请求 header 缺少参数导致 coredump 问题。修复配置比较错误导致流水线频繁 rebuild 问题。修复"processor_split_key_value"插件的组合解析错误问题。修复在多行正则修改为单行正则情况下，写入日志重复采集的问题。修复不修改采集路径，修改日志主题，增量采集时漏采一条日志。	–
v3.5.5	体验优化	修复 /tmp 和 /opt 在不同文件系统上，operator 脚本安装过程中报 cross-device link 问题。	–
v3.5.4	体验优化	删除采集配置时，清理 LogListener 上采集配置关联的点位信息。容器场景 LogListener 最大内存限制调整到1024M。LogListener 完成点位转换之后 log-agent 停止资源监听。新架构安装结束之后需要输出状态码成功为0，失败为-1。	–
v3.5.3	体验优化	修复点位升级 inode 超过 int32限制导致点位升级失败问题。修复升级过程中 loglistener_operator 报 text file busy 问题。修复 resolve_list 未正确释放导致内存泄漏问题。	–
v3.5.2	新功能	支持 HTTPS 传输加密。	–
v2.9.5	体验优化	修复整型时间戳无法解析问题。修复 CentOS 6.8无法安装问题。	–
v2.9.1	体验优化	支持 instanceID 动态生成。JSON 解析性能优化。修复连续升级异常场景。修复升级后无法正常上报心跳问题。	–
v2.9.0	体验优化	解决 LogListener 过启动时采集异常的问题。	–
v2.8.9	新功能	LogListener 支持 Windows 操作系统。支持采集 Windows 事件日志。	采集 Windows 事件日志
v2.8.8	新功能	自定义元数据。支持多行模式下的解析失败合并上传功能。支持在 CentOS 9及以上的系统上进行安装。	自定义元数据
	体验优化	优化文件路径模式的黑名单处理逻辑。修复启动异常后无限重启的问题。修复单行全文时配置了正则规则，导致的重启问题。修复关闭 LogListener 可能会卡死的问题。	–
v2.8.6	体验优化	修复部分场景下，自动升级异常。修复 JSON 解析时 string 类型数据失真的问题。	–
v2.8.5	新功能	支持采集配置级别目录深度、file timeout 高级配置选项。	–
	体验优化	修复部分场景下，采集容器标准输出出现的内存泄漏问题。修复多行采集模式下，有可能造成的 crash 问题。	–
v2.8.4	新功能	支持微秒时间戳解析。	–
	体验优化	优化容器标准输出16k截断问题。修复某些日志轮转场景下的内存泄漏问题。修复 hostname 元数据乱码问题。修复标准 JSON 解析时，整型数据被转义成 text 型的问题。	–
v2.8.3	体验优化	变更默认安装方式，更换为 systemd 管理。修复部分 agent 状态无法自动恢复的问题。修复某些场景下，存量文件无法采集完的问题。优化文件轮转处理逻辑，避免重采。修复移除软链接时偶发的 crash 问题。	–
v2.8.2	体验优化	修复多软链接+不同通配路径场景下，日志重采问题。	–
v2.8.1	体验优化	修复 JSON 解析异常。修复多行模式下的过滤器异常和单 KV 超过1M造成的上传异常。	–
v2.8.0	新功能	LogListener 支持采集 GBK 编码模式的日志文本。	–
v2.7.9	体验优化	增加 LogListener 文件锁校验，默认只能启动一个 agent 实例。优化 containerd stdout 空行处理异常。优化文件句柄泄露导致的磁盘满、业务异常问题。优化多行日志行数过多时，后半部分内容被解析失败的问题。	–
v2.7.8	体验优化	优化容器场景下 metadata 文件生成延迟，造成日志无 TAG 元数据的问题。	–
v2.7.7	体验优化	优化 DNS 解析异常恢复后，采集程序网络连接无法恢复的问题。	–
v2.7.6	体验优化	优化 hostname 提取时的换行符处理。	–
v2.7.5	体验优化	优化真实文件及其同目录软链接同时采集（不同采集配置）时，文件轮转情况下的处理异常。	–
v2.7.4	新功能	LogListener 会默认采集机器的主机名作为默认字段上报，以 HOSTNAME 作为 key 展现，例如 HOSTNAME：VM-108-centos。组合解析增加 meta_processor，支持自定义元数据解析（路径）。	–
	体验优化	修复在文件删除场景的漏采问题。修复由于文件尾无换行符引起的文件大小判断出错，导致的文件重采的问题。	–
v2.7.3	新功能	单 agent 实例支持同时多 endpoint 上传日志。	–
v2.7.2	体验优化	修复优化轮转文件在移除时无法清理掉对应的配置缓存，造成内存泄漏的问题。	–
v2.7.1	体验优化	修复大量打印 processor 为空日志的问题。	–
v2.7.0	体验优化	修复空字符串在封装 PB 时，有可能引发异常，导致采集阻塞的问题。	–
v2.6.9	体验优化	修复多行解析失败场景下，无效日志超量打印的问题。	–
v2.6.8	体验优化	优化增加 LogListener 采集规格限制，超限启动保护机制。修复 Ubuntu 开机启动不生效问题。优化黑名单功能，节省内存使用。修复组合解析模式，且 root processor 为正则解析插件时的处理异常。优化部分日志打印。	–
v2.6.7	新功能	支持单 agent 下多租户采集能力。	–
v2.6.6	体验优化	修复软链接场景下，对于写入量很小的文件，可能发生漏采/延迟采集的问题。	–
v2.6.5	新功能	日志时间支持时区信息解析。	–
	体验优化	修复高级数据处理空指针异常。修复当多个文件同时轮转时的异常问题。	–
v2.6.4	新功能	LogListener 支持使用组合解析格式解析日志，此模式支持用户在控制台输入代码（JSON 格式）用来定义日志解析的流水线逻辑。	组合解析格式
	体验优化	优化日志解析格式 pipeline。修复对毫秒时间戳（%F）格式解析的问题。	–
v2.6.3	体验优化	修复 checkpoint 文件损坏时，LogListener 无法启动的问题。修复特殊场景下，黑名单对新文件不生效的问题。	–
v2.6.2	新功能	支持增量采集功能。	–
	体验优化	修复文件在从扫描到处理之间被移除场景下的采集忽略问题。修复自动升级异常覆盖的问题。	–
v2.6.1	体验优化	修复某些场景下，日志轮转时可能发生回溯采集的问题。调整采集端上传日志超时时间，避免因为 timeout 导致数据重复。	–
v2.6.0	新功能	支持用户在控制台选择 CVM 实例，接口批量下发部署 LogListener 任务，自动完成 LogListener 的安装部署。支持 secret ID/KEY 密文存储。	CVM 批量部署 LogListener
	体验优化	优化 LogListener install/stop 逻辑。优化 upload 失败场景下的重试策略。增加对老版本 glibc 库造成的 dead lock 的检测修复工具。采集性能优化。	–
v2.5.9	体验优化	优化资源限制策略。	–
v2.5.8	体验优化	修复当移除一个目录软链接时，影响到其它指向相同目标的目录软链接的采集的问题。修复当移除一个目录软链接并再次创建相同软链接后，目录下文件无法采集的问题。	–
v2.5.7	体验优化	修复当 filesize 大于2G时，会存在重复采集的问题（新引入）。修复当文件数量特别多的时候，文件发生 rename 有可能会导致程序卡住的问题。修复文件采集监控中，某字段无法更新的问题。	–
v2.5.6	体验优化	修复特殊使用场景下，触发采集程序异常，停止工作的问题。	–
v2.5.5	体验优化	优化文件采集元数据 checkpoint，保证重启不丢数据。支持资源限制可配置超限处理，内存、CPU、带宽。	–
v2.5.4	新功能	支持 LogListener 服务日志功能，该功能记录 LogListener 端运行状态和采集监控的日志数据并配置可视化视图，提供重要指标数据。	LogListener 服务日志
	体验优化	增强内存资源限制处理，当内存超限持续一段时间后，LogListener 自动加载。	–
v2.5.3	性能优化	修复内存问题引发 LogListener 工作异常。	–
v2.5.2	新功能	支持所有解析失败的日志，均以 LogParseFailure 作为键名称（Key），原始日志内容作为值（Value）进行上传。	–
	体验优化	优化黑名单功能，黑名单 FILE 模式支持通配符过滤。	–
v2.5.1	体验优化	优化当采集文件找不到断点元数据时的处理。	–
v2.5.0	新功能	支持用户在控制台预设时间段指定机器组进行 agent 自动升级，也可对目标机器实行手动升级。支持在 Ubuntu 系统下，LogListener 自启动。	LogListener 升级指南
v2.4.6	体验优化	变更采集配置时，清理相关配置 cache 的数据残留。修复处理软链接的 IN_DELETE 事件时，影响其他指向此 realpath 文件的软链接文件采集的问题。优化同一源文件同时使用文件软链接和目录软链接进行采集功能。	–
v2.4.5	新功能	LogListener 采集配置规则新增多行-完全正则提取模式。	完全正则（多行）
v2.4.4	体验优化	优化 msec 功能导致的日志采集使用日志时间不准确的问题。	–
v2.4.3	新功能	支持自动检测日志格式（logFormat）。	–
v2.4.2	体验优化	优化腾讯云容器场景下拉取配置时缓存淘汰问题。	–
v2.4.1	新功能	支持毫秒采集日志数据。	–
	体验优化	优化用户日志中无换行符数据引发的工作异常。	–
v2.4.0	新功能	LogListener 支持进程实例级别监控。	–
v2.3.9	新功能	支持采集路径配置黑名单。	–
	性能优化	优化 Boost 版本库过低导致的内存泄漏。	–
v2.3.8	新功能	采集配置支持多路径。	–
v2.3.6	性能优化	修复无效键值 key invalid 导致的停止采集问题。修复请求失败返回502导致的内存泄漏问题。	–
v2.3.5	新功能	支持日志上下文检索功能。	–
	性能优化	修复在静态配置模式下，在上传日志时返回鉴权失败时后续不再采集的问题。修复在动态配置模式下，内存超过阈值后，不再读取动态配置的问题。修复在日志滚动时，如果生产日志速度过大，偶现重复采集的问题。修复在日志上传重试多次失败时，导致的内存泄漏的问题。	–
v2.3.1	体验优化	内存限制优化。达到内存限制时，超过3s的请求判定为超时。	–
v2.2.6	新功能	支持分离配置内外网域名。	–
	性能优化	修复 getip 引发的 LogListener 工作异常。	–
v2.2.5	新功能	支持腾讯云织云环境部署。	–
	体验优化	修复 getip 导致 core 的问题。	–
v2.2.4	体验优化	安装和初始化改为：tools/loglistener.sh 的子命令 install 和 init。启动改成：/etc/init.d/loglistenerd start\|stop\|restart。	–
v2.2.3	体验优化	日志轮转 rename+create 不丢日志。	–
v2.2.2	体验优化	日志大小超过512KB自动截断。	–
更早版本	–	2.2.2版本的 LogListener 支持完全正则采集。2.1.4版本的 LogListener 支持多行全文格式。2.1.1版本的 LogListener 支持日志结构化。	–

日志服务 LogListener 版本变更

相关内容：