日志服务 LogListener 配置指南

Linux(版本≥3.4.0)Linux(版本<3.4.0)Windows以安装路径/opt/loglistener/为例, 可以在/opt/loglistener/conf 路径下,运行以下命令查看并配置 LogListener 配置文件。

相关产品
日志服务 产品页,含版本规格、价格与购买入口。

vim loglistener.yaml

注意:说明:

注意:在新架构 LogListener(版本≥3.4.0),密钥内容不再暴露在配置文件,如你需要替换密钥内容或者使用临时密钥,请使用如下命令:

注意:./loglistener ak -a update -s ${secret_id} -k ${secret_key}

注意:./loglistener ak -a update -u -s ${secret_id} -k ${secret_key} -t ${token}

注意:其中 secret_id 和 secret_key 是你需要替换的云 API 密钥信息,请前往 API 密钥管理 获取。token 是临时密钥场景才需要的 token 信息,临时密钥获取见 临时密钥使用指引。

参数说明

参数名 参数描述 默认值 取值范围
agent_ip IP 地址,机器组可通过所配 IP 地址与该机器关联,详情可参见 机器组。 默认自动获取网卡 IP,若 LogListener 初始化时指定了 IP,则为初始化时指定 IP。 –
agent_labels 机器标识。配置后,机器组可通过所配机器标识与该机器关联,详情可参见 机器组。支持配置多个标识,yaml 格式支持“-”换行隔开,如右图所示。注意:配置了机器标识的机器,仅可通过机器标识关联机器组,不可通过 IP 关联。 无默认值,初始化时指定,或者在配置文件中修改。配置多个时参照下图: –
dynamic_instance_id 是否动态生成/更新实例 ID。 false true、false
dynamic_ip 用于控制是否开启动态 IP 自动检测能力,若入参为 true,当 IP 发生变更时可实时更新(仅机器标识场景支持,通过 IP 地址关联的场景不支持该能力)。 false true、false
load_server_config 加载服务的采集配置。 true true、false
load_user_config 加载本地采集配置。 false true、false
memory_limit 最大内存占用(Bytes)。 314572800 大于0的整数
cpu_limit 最大 CPU 占用,单位为单个 CPU 核心的千分之一(mCPU)。例如:500表示0.5核,即单核 CPU 使用率的 50%。 1000 1 – 1000
max_dir 最大监听目录数。 5000 大于0的整数
max_file 最大监听文件数。 15000 大于0的整数
enable_polling_discovery 是否启用轮询方式发现日志文件。 true true、false
enable_inotify_discovery 是否启用 Inotify 方式发现日志文件。 true true、false
max_read_size 单次读取日志文件的最大字节数(Bytes)。 1048576 1048576 – 8388608
timeout 日志发送到 CLS 的网络请求超时时间(秒)。 60 大于0的整数
port 端口,默认80。如需使用 https 加密传输,请指定443。 80 80、443
max_send_retry_times 日志发送失败后的最大重试次数。 10800 大于0的整数
endpoint CLS 接入域名,对应日志服务所在地域。 ap-guangzhou.cls.tencentyun.com CLS Endpoint
concurrency_count 并发发送日志的最大并发数。 2000 大于0的整数
switch_endpoint 启用备用域名。默认为 false,若入参为 true,当主域名网络失败后会使用备用域名。入参 true 后,配置文件新增 backup_endpoints 字段(备用域名),系统会主动填充备用域名。若用户初始化为内网访问,backup_endpoints 自动填充为公网。若用户初始化为公网访问,backup_endpoints 自动填充为内网。 false true、false
backup_endpoints 备用域名内容。 – –
compress 压缩方式,默认 lz4(默认),可选 zstd。注意:该参数不支持热更新,修改完成后请执行 systemctl restart loglistener 命令重启采集器。 lz4 lz4、zstd

以安装路径/usr/local/为例, 你可在/usr/local/loglistener/etc 路径下,运行以下命令查看并配置 LogListener 配置文件。

vim loglistener.conf

参数说明

参数名 参数描述 默认值 取值范围
proxy_host 目标 CLS 服务访问域名。 若 LogListener 初始化时指定了地域(-region)以及内外网访问方式(-network),此处默认为指定地域对应的 CLS 内网或外网域名。若 LogListener 初始化未指定地域(-region)而指定了域名(-domain),此处默认为域名。 请参见 可用地域 配置。
secret_id API 密钥 ID。 LogListener 初始化时指定的密钥 ID。 请前往 API 密钥管理 获取密钥 ID。
secret_key API 密钥 Key。 LogListener 初始化时指定的密钥 Key。 请前往 API 密钥管理 获取密钥 Key。
encryption 访问 CLS 服务并鉴权时,是否需要对 secret_id 与 secret_key 进行解密。若要修改密钥的存储方式请参见 密钥加密存储。 LogListener 初始化时若指定 encryption(是否加密存储密钥信息)为 true,此处则为 true;反之为 false。 true、false
group_ip IP 地址,机器组可通过所配 IP 地址与该机器关联,详情可参见 机器组。 默认自动获取网卡 IP,若 LogListener 初始化时指定了 IP,则为初始化时指定 IP。 –
group_label 机器标识。配置后,机器组可通过所配机器标识与该机器关联,详情可参见 机器组。支持配置多个,由逗号分隔。注意:配置了机器标识的机器,仅可通过机器标识关联机器组,不可通过 IP 关联。 – –
max_connection 同一时刻,最大的日志上传请求并行数量。 10 大于0的整数
max_mem 最大内存占用(Bytes)。 2097152000 大于0的整数
max_dir 最大监听目录数。该配置仅在 LogListener v2.8.8及以上版本支持。 5000 大于0的整数
max_file 最大监听文件数。 15000 大于0的整数
cpu_usage_thres 单核最大 CPU 占用(%)。0代表无限制。 0 1 – 100
max_send_rate 最大上传速率(Bytes/s)。0代表无限制。 0 大于0的整数
max_depth 最大采集目录深度。该配置可控制针对的下探深度。0代表不下探。 10 大于0的整数
request_compression 是否压缩上传日志。 true true、false
replace_special_characters 当采集的日志中出现特殊字符时,是否以空格替换。该配置仅在 LogListener v2.8.8及以上版本支持。 false true、false
memory_tight_mode 是否开启内存节省模式。 false true、false
max_send_retrys 日志上传请求失败时,最大重试次数。0代表不断尝试。 0 大于0的整数
max_send_retry_time 日志上传请求失败并重试时,最大超时时间(s)。 10800 大于0的整数
send_retry_period 日志上传请求失败时,最大重试时间间隔(s)。 3 大于0的整数
dynamic_config 是否动态更新采集配置,参数为 true 时更新采集配置参数无需重启采集器。 false(LogListener 3.4.0以下版本)true( LogListener 3.4.0及以上版本) true、false

完成配置修改后,需执行以下命令重启 LogListener,使配置变更生效。(若 dynamic_config 为 true,无需执行以下步骤)

通过 systemd 执行不通过 systemd 执行适用于 LogListener 2.8.3以上并且操作系统具有 systemd。systemctl restart loglistenerd执行 /etc/init.d/loglistenerd check 查看是否重启成功:适用于 LogListener 2.8.3以下或者 LogListener 2.8.3以上但是操作系统没有 systemd。/etc/init.d/loglistenerd restart执行 /etc/init.d/loglistenerd check 查看是否重启成功:

Windows 以安装路径 C:\\Program Files (x86)\\Tencent\\LogListener 为例,在安装目录下找到 loglistener.yaml 并用任意编辑器打开。

参数说明

参数名 参数描述 默认值 取值范围
host 目标 CLS 服务访问域名。 若 LogListener 初始化时指定了地域(–region)以及内外网访问方式(–network),此处默认为指定地域对应的 CLS 内网或外网域名。若 LogListener 初始化未指定地域(–region),而指定了域名(–endpoint),此处默认为域名。 请参见 可用地域 配置。
agent_ip IP 地址,机器组可通过所配 IP 地址与该机器关联,详情可参见 机器组。 默认自动获取网卡 IP,若 LogListener 初始化时指定了 IP,则为初始化时指定 IP。 –
secret_id API 密钥 ID。 LogListener 初始化时指定的密钥 ID。 请参见 API 密钥管理 获取密钥 ID。
secret_key API 密钥 Key。 LogListener 初始化时指定的密钥 Key。 请参见 API 密钥管理 获取密钥 Key。
agent_labels 机器标识。配置后,机器组可通过所配机器标识与该机器关联,详情可参见 机器组。支持配置多个,并用逗号分隔。注意:配置了机器标识的机器, 仅可通过机器标识关联机器组,不可通过 IP 关联。 – –
check_net 是否在安装过程中执行网络连通性校验,默认取值 true。若入参 true,当网络异常时将安装失败。若不需要对网络环境进行校验,则入参 false。(Windows 事件采集不支持) true true、false

完成配置修改后,需执行以下命令重启 LogListener,使配置变更生效。

以管理员身份运行 Windows PowerShell,在安装路径 C:\\Program Files (x86)\\Tencent\\LogListener 下,执行以下命令重启 LogListener:

.\\loglistener_daemon.exe -action restart

赞 (0)
上一篇 5天前
下一篇 5天前