云服务器特惠 99/年起
  1. 腾讯云优惠网首页
  2. 腾讯云产品

日志服务 使用 JSON 提取模式采集日志

• 腾讯云产品

JSON 提取模式适用于日志文本中每行内容为一条原始日志，且每条日志可按 JSON 解析规则提取为多个 key-value 键值的日志解析模式。若不需要提取 key-value，参见 单行全文格式 进行配置。这里说明如何使用 JSON 提取模式采集日志。

相关产品
日志服务 产品页，含版本规格、价格与购买入口。

二、前提条件

·目标文件所在服务器已安装 LogListener。详情请参见：

·LogListener 安装指南（Linux 版）

·LogListener 安装指南（Windows 版）

·LogListener Linux 版本为2.4.5以上或 LogListener Windows 版本为2.9.7及以上。

三、效果预览

假设你的一条 JSON 日志原始数据为：

{"remote_ip":"10.135.46.111","time_local":"22/Jan/2019:19:19:34 +0800","body_sent":23,"responsetime":0.232,"upstreamtime":"0.232","upstreamhost":"unix:/tmp/php-cgi.sock","http_host":"127.0.0.1","method":"POST","url":"/event/dispatch","request":"POST /event/dispatch HTTP/1.1","xff":"-","referer":"http://127.0.0.1/my/course/4","agent":"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:64.0) Gecko/20100101 Firefox/64.0","response_code":"200"}

经过日志服务结构化处理后，该条日志将变为如下：

agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:64.0) Gecko/20100101 Firefox/64.0body_sent: 23http_host: 127.0.0.1method: POSTreferer: http://127.0.0.1/my/course/4remote_ip: 10.135.46.111request: POST /event/dispatch HTTP/1.1response_code: 200responsetime: 0.232time_local: 22/Jan/2019:19:19:34 +0800upstreamhost: unix:/tmp/php-cgi.sockupstreamtime: 0.232url: /event/dispatchxff: –

五、步骤1：创建/选择日志主题

创建新的日志主题选择现有的日志主题如果你想创建新的日志主题，可执行如下操作：1. 登录 日志服务控制台。2. 在左侧导航栏中，选择概览，进入概览页面。3. 在快速接入中，选择服务器及应用，找到并单击 JSON-文件日志，进入采集配置流程。4. 在采集配置流程的创建日志主题页面，根据实际需求，输入日志主题名称，配置日志保存时间等信息，单击下一步。如果你想选择现有的日志主题，可执行如下操作：1. 登录 日志服务控制台。2. 在左侧导航栏中，选择日志主题，然后选择需要投递的日志主题，单击指定日志主题名称，进入日志主题管理页面。3. 选择采集配置页签，在 LogListener 采集配置栏下单击新增，进入日志数据源选择。4. 在日志数据源选择页面中，选择服务器及应用，找到并单击 JSON-文件日志，进入采集配置流程。

六、步骤2：机器组管理

若你需要采集的目标服务器未安装 LogListener， 可参见：

·LogListener 安装指南（Linux 版）

·LogListener 安装指南（Windows 版）

创建新的机器组选择已有的机器组如果你想创建新的机器组，可执行如下操作：1. 单击新建机器组。2. 填写机器组名称，通过机器标识的方式关联已安装 LogListener 的目标服务器。详情请参见 机器组，然后单击确定。3. 完成创建后，在 Tab 选项中选择你创建的机器组的系统环境，在列表中勾选你的目标机器组，并单击下一步。如果你想选择已有的机器组，可在 Tab 选项中选择你创建的机器组的系统环境，在列表中勾选你的目标机器组，并单击下一步。

八、配置日志文件采集路径

在“采集配置”页面，填写采集规则名称，并根据日志采集路径格式填写“采集路径”。日志采集路径格式参考如下：

注意：Linux 日志路径必须以/开头。Windows 文件路径必须以盘符开头，如 C:\\。

·Linux 系统中的日志路径：/[目录前缀表达式]/**/[文件名表达式]，例如：/data/log/**/*.log。

·Windows 系统中的日志路径：[盘符]:\\[目录前缀表达式]\\**\\[文件名表达式]，例如：C:\\Program Files\\Tencent\\…\\*.log。

填写日志采集路径后，LogListener 会按照[目录前缀表达式]匹配所有符合规则的公共前缀路径，并监听这些目录（包含子层目录）下所有符合[文件名表达式]规则的日志文件。其参数详细说明如下：

序号 目录前缀表达式 文件名表达式 说明
1 /var/log/nginx access.log 此例中，日志路径配置为/var/log/nginx/**/access.log，LogListener 将会监听/var/log/nginx 前缀路径下所有子目录中以 access.log 命名的日志文件
2 /var/log/nginx *.log 此例中，日志路径配置为 /var/log/nginx/**/*.log，LogListener 将会监听/var/log/nginx 前缀路径下所有子目录中以 .log 结尾的日志文件
3 /var/log/nginx error* 此例中，日志路径配置为/var/log/nginx/**/error*，LogListener 将会监听/var/log/nginx 前缀路径下所有子目录中以 error 开头命名的日志文件

九、配置采集路径黑名单

开启采集路径黑名单，可在采集时忽略指定的目录前缀或完整的文件路径。目录路径和文件路径可以是完全匹配，也支持通配符模式匹配。

采集黑名单分为两类过滤类型，且可以同时使用：

·文件路径：采集路径下，需要忽略采集的完整文件路径，支持通配符*或？，支持**路径模糊匹配。

·目录路径：采集路径下，需要忽略采集的目录前缀，支持通配符*或？，支持**路径模糊匹配。

十、配置采集策略

·全量采集：LogListener 采集文件时，从文件的开头开始读。

·增量采集：LogListener 采集文件时，只采集文件内新增的内容。

十一、配置回溯采集

当采集策略选择为增量采集时，你可以进一步在此设置回溯采集的起始点，指定 LogListener 启动时是否从最新位置往前偏移指定字节数开始采集。

注意：Windows 系统环境暂不支持。

十二、编码模式

·UTF-8：若你的日志文件编码模式为 UTF-8，请选择该选项。

·GBK：若你的日志文件编码模式为 GBK，请选择该选项。

十三、配置 JSON 模式

注意：LogListener 仅解析一层 JSON，更深层次的 JSON 解析请通过 索引配置。

在采集配置页面，将“提取模式”设置为 JSON。如下：

十四、配置自定义元数据

你可配置自定义元数据，可以用来区分日志。当前支持以下几种元数据配置。详情请参见 自定义元数据。

·机器组元数据：使用机器组元数据。

·采集路径：通过正则提取采集路径中的值作为元数据。

·自定义：自定义键值作为元数据。

注意：LogListener 2.8.7及以上版本才可以配置自定义元数据。

十五、配置日志时间戳来源

日志采集时间指定日志字段使用日志采集的时间作为日志时间。使用日志中指定字段的值作为日志的时间。1. 在日志时间字段中选择已经提取的 Value 值作为日志时间。2. 在时间格式解析中手动输入或选择该值对应的解析表达式。例如：日志中代表时间的值为 07/Jul/2025:19:19:30 +0800，解析格式为：%d/%b/%Y :%H:%M:%S %z。更多请参见 配置时间格式。3. 单击验证。注意：若时间格式填写错误，日志时间将以采集时间为准。

十六、配置过滤器条件

过滤器的目的是根据业务需要添加日志采集过滤规则，以帮助你筛选出有价值的日志数据。

对于 JSON 格式日志，可以根据所解析成的键值对配置过滤条件。支持以下过滤规则：

·等于：仅采集指定字段值匹配指定字符的日志。支持完全匹配，或正则匹配。

·不等于：仅采集指定字段值不匹配指定字符的日志。支持完全匹配，或正则匹配。

·字段存在：仅采集指定字段存在的日志。

·字段不存在：仅采集指定字段不存在的日志。

例如，你希望原始 JSON 格式日志内容中 response_code 为400或500的所有日志数据被采集，那么 key 处配置 response_code，过滤规则选择等于，value 处配置400|500。

十七、配置上传解析失败日志

建议开启上传解析失败日志。开启后，LogListener 会上传各式解析失败的日志。若关闭上传解析失败日志，则会丢弃失败的日志。

开启后需要配置解析失败的 Key 值（默认为 LogParseFailure），所有解析失败的日志，均以输入内容作为键名称（Key），原始日志内容作为值（Value）进行上传。

十八、上传原始日志

开启后 LogListener 会将原始日志与解析后的日志一起上传。你需要为原始日志指定键名称（key），上传时，整条原始日志内容将作为该 Key 的 Value 进行上传。

十九、高级配置

注意：Windows 系统环境暂不支持。

通过勾选，选择你需要定义的高级配置。

JSON 提取模式下，支持使用以下高级配置：

名称 描述 配置项
超时属性 该配置控制日志文件的超时时间。如果一个日志文件在指定时间内没有任何更新，则为超时。超时的日志文件 LogListener 将不再采集。当你的日志文件数量较大时，建议缩短超时时间，避免 LogListener 性能浪费。 不超时：日志文件永不超时自定义：自定义日志文件的超时时间
最大目录深度 该配置控制日志采集的最大目录深度。LogListener 不会采集所在目录层级超过指定最大目录深度的日志文件。当你目标采集路径包含模糊匹配时，建议配置合适的最大目录深度，避免 LogListener 性能浪费。 大于0的整数。0代表不进行子目录的下钻

20、步骤4：索引配置

1. 单击下一步，进入“索引配置”页面。

2. 在“索引配置”页面，设置如下信息。配置详情请参见 索引配置。

注意：检索必须开启索引配置，否则无法检索。

3. 单击提交，进入编辑索引配置确认页面。

如果你设置的索引配置仅需对新写入的日志生效，单击确定。如果你想要该配置对历史数据生效，单击确定后，详情请参见 重建索引，做进一步设置。

4. 操作成功，完成采集配置。

21、相关操作

检索日志，请参见 检索分析 文档。

相关内容：

  1. 日志服务 使用分隔符提取模式采集日志 分隔符提取模式适用于日志文本中每行内容为一条原始日志，且每条日志可根据指定的分隔符提取为多个 key-value 键值的日志解析模式。若不需要提取 key-value，参见 单行全文格式 进行配置。这里说明如何使用分隔符提取模式采集日志。...
  2. 日志服务 使用单行全文提取模式采集日志 单行全文提取模式指导你在采集的时候，使用换行符\\n 来作为一条日志的结束符，并将每一条日志存储在一个默认的键值__CONTENT__中。日志数据本身不进行日志结构化处理，也不会提取日志字段，日志属性的时间项由日志采集的时间决定。这里说明如何使用单行全文提取模式采集日志。...
  3. 日志服务 使用多行全文提取模式采集日志 多行全文日志是指一条完整的日志数据跨占多行（例如 Java 程序日志）。在这种情况下，以换行符\\n 为日志的结束标识符就显得有些不合理，为了能让日志系统明确区分开每条日志，采用首行正则的方式进行匹配，当某行日志匹配上预先设置的正则表达式，就认为是一条日志的开头，而下一个行首出现时，作为该条日志的结束标识符。...
  4. 日志服务 使用单行-完全正则提取模式采集日志 单行-完全正则模式适用于日志文本中每行内容为一条原始日志，且每条日志可按正则表达式提取为多个 key-value 键值的日志解析模式。若不需要提取 key-value，参见 单行全文格式 进行配置。 配置单行-完全正则模式时，需要先输入日志样例，再自定义正则表达式。配置完成后，系统将根据正则表达式中的捕获组提取对应的 key-value。 这里逐项说明如何采集单行-完全正则模式日志。...
  5. 日志服务 使用多行-完全正则提取模式采集日志 多行-完全正则模式适用于日志文本中一条完整的日志数据跨占多行（例如 Java 程序日志），且可按正则表达式提取为多个 key-value 键值的日志解析模式。若不需要提取 key-value，参见 多行全文格式 进行配置。 配置多行-完全正则模式时，需要先输入日志样例，再自定义正则表达式。配置完成后，系统将根据正则表达式中的捕获组提取对应的 key-value。...
  6. 日志服务 采集 Nginx 访问日志 Nginx 作为常见的反向代理服务，在实际业务中承载着大量的服务请求。服务在运行过程中会产生大量访问日志，通常使用户面临着集群中日志分散，数据量庞大等问题，因此如何有效地收集管理这些日志数据对业务的运维及运营都有着非常重要的意义。这篇以 Nginx 访问日志为例，介绍如何使用日志服务接入 Nginx 日志。...
  7. 日志服务 使用组合解析提取模式采集日志 当你的日志结构太过复杂，涉及多种解析模式，单种解析模式（如 Nginx 模式、完整正则模式、JSON 模式等）无法满足日志解析需求时，可以以使用 LogListener 组合解析格式解析日志，此模式支持用户在控制台输入代码（JSON 格式）用来定义日志解析的流水线逻辑。可以添加一个或多个 LogListener 插件处理配置，LogListener 会根据处理配置顺序逐一执行。这里说明如何使用组合解析提取模式采集日志。...
  8. 日志服务 LogListener 安装异常问题 这篇说说腾讯云日志服务LogListener的安装与异常处理方法，包括内核版本要求、安装命令、版本更新及诊断工具使用，帮助用户排查安装失败问题。 内核确认：需Linux 64位x86_64内核，用uname -a检查。 安装操作：按指南执行命令，新特性需最新版本。 验证安装：使用快速诊断工具检查进程、心跳及采集配置。...
赞 (0)
上一篇 4天前
下一篇 4天前