一、前提条件
·已开通日志服务(Cloud Log Service,CLS),并创建对应资源(如 日志集 和 日志主题)。
·已在 腾讯云访问管理控制台 获取到 SecretId 和 SecretKey。
二、使用 LogListener Windows 版采集 Windows 事件日志
详情请参见 采集 Windows 事件日志。
三、使用 Filebeat 采集 Windows 文件日志
注意:说明:
注意:这篇示例适用于 Filebeat 9.0及以上版本。Filebeat 的 log input 已废弃,请使用 filestream input 采集文件日志。
1. 下载 安装包 后,上传至目标 Windows 主机某个盘的根目录,并解压缩。
2. 以管理员身份打开 PowerShell,cd 至解压后的文件目录中,并执行如下命令安装 Filebeat 服务。
# 执行安装脚本,安装 Filebeat 服务.\\install-service-filebeat.ps1
四、配置 Filebeat 并上传日志至 CLS
在 Filebeat 安装目录中,找到 filebeat.reference.yml 文件,复制并命名为 filebeat.yml。配置 filebeat.inputs 和 output.kafka,使 Filebeat 采集本地文件日志并发送至 CLS Kafka 生产端。请将示例中的日志路径、地域和 CLS 资源标识替换为实际值。
filebeat.inputs: – type: filestream id: cls-windows-file enabled: true paths: – "C:/Logs/*.log" # TODO 替换为实际日志路径output.kafka: enabled: true hosts: ["${kafka-region}-producer.cls.tencentyun.com:9095"] # 服务地址,${kafka-region} 为地域简写 topic: "${topicID}" # TODO topicID version: "1.0.0" # 需与 Filebeat 版本匹配:Filebeat 9.0 及以上版本填写 1.0.0;8.18 及以下版本填写 0.11.0.2。 compression: "${compress}" # 配置压缩方式,支持gzip,snappy,lz4;例如"lz4" username: "${logsetID}" password: "${secret_id}#${secret_key}"
五、验证配置并启动 Filebeat
完成配置后,在 PowerShell 中执行以下命令。
# 验证配置文件语法.\\filebeat.exe test config -c .\\filebeat.yml -e# 验证与 CLS Kafka 生产端的连通性.\\filebeat.exe test output -c .\\filebeat.yml -e# 以前台方式启动 Filebeat,验证采集和上报结果.\\filebeat.exe -c .\\filebeat.yml -e
注意:说明:
注意:filebeat setup 用于初始化 Elasticsearch 索引模板、ILM 策略和 Kibana Dashboard 等 Elastic Stack 资产,不会启动 Filebeat。CLS 使用 Kafka 输出时无需执行 filebeat setup,应使用 filebeat -c 直接启动。完成前台验证后,可停止前台进程并执行 Start-Service filebeat 启动 Filebeat 服务。
| 参数 | 说明 |
| 鉴权机制 | 当前支持 SASL_PLAINTEXT。 |
| hosts | CLS Kafka 地址。根据目标写入日志主题所在地域配置。请参见 服务入口。 |
| topic | CLS Kafka topic 名称。配置为日志主题 ID。例如:76c63473-c496-466b-XXXX-XXXXXXXXXXXX。 |
| username | CLS Kafka 访问用户名。配置为日志集 ID。例如:0f8e4b82-8adb-47b1-XXXX-XXXXXXXXXXXX。 |
| password | CLS Kafka 访问密码。格式为 ${secret_id}#${secret_key}。例如:XXXXXXXXXXXXXX#YYYYYYYY。密钥信息获取请前往 密钥获取。 |
六、服务入口
| 地域 | 网络类型 | 端口号 | 服务入口 |
| 广州 | 内网 | 9095 | gz-producer.cls.tencentyun.com:9095 |
| | 外网 | 9096 | gz-producer.cls.tencentcs.com:9096 |
注意:这篇档以广州地域为例,内外网域名需用不同端口标识,其他地域请替换地址前缀。详情请参见 可用域名 – Kafka 上传日志。