日志服务 键值提取函数

一、简介

键值提取函数常见的使用场景如下，处理为结构化数据之后，可以进一步用于 SQL 分析的场景。

三、函数定义

基于分隔符（单字符）提取字段值内容。

四、语法描述

ext_sep("源字段名", "目标字段1,目标字段2,目标字段…", sep="分隔符", quote="不参与分割的部分", restrict=False, mode="overwrite")

五、参数说明

六、示例

·示例1：使用逗号作为分隔符，提取日志中的值。

原始日志：

{"content": "hello Go,hello Java,hello python"}

加工规则：

//使用逗号作为分割符号，将content字段值分割为三段，分别对应f1,f2,f3三个字段。ext_sep("content", "f1, f2, f3", sep=",", quote="", restrict=False, mode="overwrite")//丢弃content字段fields_drop("content")

加工结果：

{"f1":"hello Go","f2":"hello Java","f3":"hello python"}

·示例2：使用 quote 将字符串整体处理。

原始日志：

{"content": " Go,%hello ,Java%,python"}

加工规则：

ext_sep("content", "f1, f2", quote="%", restrict=False)

加工结果：

//%hello ,Java%虽然也有逗号，但它作为一个整体，就不参与分隔符提取。 {"content":" Go,%hello ,Java%,python","f1":" Go","f2":"hello ,Java"}

·示例3：当 restrict=True, 表示当分割的值的个数和目标字段不同时，函数不执行。

原始日志：

{"content": "1,2,3"}

加工规则：

ext_sep("content", "f1, f2", restrict=True)

加工结果：

{"content":"1,2,3"}

八、函数定义

基于指定的字符（多字符）提取字段值内容。

九、语法描述

ext_sepstr("源字段名","目标字段1,目标字段2,目标字段…", sep="abc", restrict=False, mode="overwrite")

十、参数说明

十一、示例

原始日志：

{"message":"1##2##3"}

加工规则：

//使用“##”作为分割符，提取键值。 ext_sepstr("message", "f1,f2,f3,f4", sep="##")

加工结果：

//当目标字段的个数超出了分隔出的值，超出的字段返回"".{"f1":"1","f2":"2","message":"1##2##3","f3":"3","f4":""}

十三、函数定义

从 JSON 中提取字段值。

十四、语法描述

ext_json("源字段名",prefix="",suffix="",format="full",exclude_node="不平铺的JSON节点")

十五、参数说明

十六、示例

·示例1：提取全部节点的 KV 成为新字段，提取时不分层级，该例子是多层嵌套。

原始日志：

{"data": "{ \\"k1\\": 100, \\"k2\\": { \\"k3\\": 200, \\"k4\\": { \\"k5\\": 300}}}"}

加工规则：

ext_json("data")

加工结果：

{"data":"{ \\"k1\\": 100, \\"k2\\": { \\"k3\\": 200, \\"k4\\": { \\"k5\\": 300}}}","k1":"100","k3":"200","k5":"300"}

·示例2：sub_field1不参与提取。

原始日志：

{"content": "{\\"sub_field1\\":1,\\"sub_field2\\":\\"2\\"}"}

加工规则：

//exclude_node=subfield1意思就是这个节点不提取 ext_json("content", format="full", exclude_node="sub_field1")

加工结果：

{"sub_field2":"2","content":"{\\"sub_field1\\":1,\\"sub_field2\\":\\"2\\"}"}

·示例3：给子节点加上前缀 prefix。

原始日志：

{"content": "{\\"sub_field1\\":{\\"sub_sub_field3\\":1},\\"sub_field2\\":\\"2\\"}"}

加工规则1：

//sub_field2被提取出来时，自动加上前缀udf\\_，成为udf\\_\\_sub\\_field2ext_json("content", prefix="udf_", format="simple")

加工结果1：

{"content":"{\\"sub_field1\\":{\\"sub_sub_field3\\":1},\\"sub_field2\\":\\"2\\"}","udf_sub_field2":"2","udf_sub_sub_field3":"1"}

加工规则2：

//format=full表示提取的字段名自带层级关系，sub_field2被提取出来时，自动加上它的父节点名称，成为#content#__sub_field2 ext_json("content", prefix="__", format="full")

加工结果2：

{"#content#__sub_field2":"2","#content#sub_field1#__sub_sub_field3":"1","content":"{\\"sub_field1\\":{\\"sub_sub_field3\\":1},\\"sub_field2\\":\\"2\\"}"}

·示例4：支持特殊字符。
原始日志1：

{"content": "{\\"sub_field1\\":1,\\"sub_field2\\":\\"\\\\n2\\"}"}

加工规则1：

ext_json("content",retain="\\n")

加工结果1：

{"sub_field2":"\\\\n2","content":"{\\"sub_field1\\":1,\\"sub_field2\\":\\"\\\\n2\\"}","sub_field1":"1"}

原始日志2：

{"content": "{\\"sub_field1\\":1,\\"sub_field2\\":\\"\\\\n2\\\\t\\"}"}

加工规则2：

ext_json("content",retain="\\n,\\t")

加工结果2：

{"sub_field2":"\\\\n2\\\\t","content":"{\\"sub_field1\\":1,\\"sub_field2\\":\\"\\\\n2\\\\t\\"}","sub_field1":"1"}

·示例5：自定义是否进行转义。
原始日志：

{"message":"{\\"ip\\":\\"183.6.104.157\\",\\"params\\":\\"[{\\\\\\"tokenType\\\\\\":\\\\\\"RESERVED30\\\\\\",\\\\\\"otherTokenInfo\\\\\\":{\\\\\\"unionId\\\\\\":\\\\\\"123\\\\\\"},\\\\\\"unionId\\\\\\":\\\\\\"adv\\\\\\"}]\\"}"}

加工规则：

ext_json("message", escape=False)fields_drop("message")

加工结果：

{"ip":"183.6.104.157", "params":"[{\\"tokenType\\":\\"RESERVED30\\",\\"otherTokenInfo\\":{\\"unionId\\":\\"123\\"},\\"unionId\\":\\"adv\\"}]"}

十八、函数定义

从 JSON 中提取字段值。

十九、语法描述

ext_json_jmes(“源字段名”, jmes= "提取JSON的公式", output="目标字段", ignore_null=True, mode="overwrite")

20、参数说明

21、示例

·示例1：提取节点值（叶子结点）。

原始日志：

{"content": "{\\"a\\":{\\"b\\":{\\"c\\":{\\"d\\":\\"value\\"}}}}"}

加工规则：

//jmes="a.b.c.d"的意思是取a.b.c.d的值。ext_json_jmes("content", jmes="a.b.c.d", output="target")

加工结果：

{"content":"{\\"a\\":{\\"b\\":{\\"c\\":{\\"d\\":\\"value\\"}}}}","target":"value"}

·示例2：提取节点值（非叶子结点）。

原始日志：

{"content": "{\\"a\\":{\\"b\\":{\\"c\\":{\\"d\\":\\"value\\"}}}}"}

加工规则：

//jmes="a.b.c.d"的意思是取a.b.c的值。 ext_json_jmes("content", jmes="a.b.c", output="target")

加工结果：

{"content":"{\\"a\\":{\\"b\\":{\\"c\\":{\\"d\\":\\"value\\"}}}}","target":"{\\"d\\":\\"value\\"}"}

23、函数定义

基于正则表达式提取字段值。

24、语法描述

ext_regex(“源字段名”, regex="正则表达式", output=“目标字段1，目标字段2，目标字段…….”, mode="overwrite")

25、参数说明

26、示例

·示例1：匹配数字

原始日志：

{"content": "1234abcd5678"}

加工规则：

ext_regex("content", regex="\\d+", output="target1,target2")

加工结果：

{"target2":"5678","content":"1234abcd5678","target1":"1234"}

·示例2：有命名捕获，自动填充部分字段值。
原始日志：

{"content": "1234abcd"}

加工规则：

ext_regex("content", regex="(?<target1>\\d+)(.*)", output="target2")

加工结果：

{"target2":"abcd","content":"1234abcd","target1":"1234"}

28、函数定义

基于两级分割符提取字段值。

29、语法描述

ext_kv("源字段名", pair_sep=r"\\s", kv_sep="=", prefix="", suffix="", mode="fill-auto")

30、参数说明

31、示例

日志中有两级分割符“|”和“=”。

原始日志：

{"content": "a=1|b=2|c=3"}

加工规则：

ext_kv("content", pair_sep="|", kv_sep="=")

加工结果：

{"a":"1","b":"2","c":"3","content":"a=1|b=2|c=3"}

33、函数定义

返回参数中第一个非 null 且非空字符的结果值。

34、语法描述

ext_first_notnull(值1, 值2, …)

35、参数说明

36、示例

原始日志：

{"data1": null, "data2": "", "data3": "first not null"}

加工规则：

fields_set("result", ext_first_notnull(v("data1"), v("data2"), v("data3")))

加工结果：

{"result":"first not null","data3":"first not null","data2":"","data1":"null"}

38、函数定义

基于 Grok 提取匹配结果值，Grok 是一种采用组合多个预定义的正则表达式。Grok 公式验证。

注意：当你的日志中有特殊字符如 . \\ * + ? ^ $ | () [] {} – / 时，grok 语法中需要加转义，例如：2024 Nov 9 -trump，对应的 grok 语句：%{YEAR:year} %{MONTH:month} %{MONTHDAY:day} \\-%{WORD:trump}，提取结果：{ "year": 2024, "month": "Nov", "day": 9,"President": "trump"}

39、语法描述

ext_grok(字段, grok="", extend="")

40、参数说明

41、示例

·示例1：使用默认的 Pattern 提取日期和引号中的字符串。

原始日志：

{"content":"2019 June 24 \\"I am iron man\\""}

加工规则：

ext_grok("content", grok="%{YEAR:year} %{MONTH:month} %{MONTHDAY:day} %{QUOTEDSTRING:motto}")fields_drop("content")

加工结果：

{"day":"24", "month":"June", "motto":"I am iron man", "year":"2019"}

·示例2：使用自定义 Pattern 提取键值对。

原始日志：

{"content":"Beijing-1104,Beijing-Beijing"}

加工规则：

//extend 参数的作用是对自定义模式进行定义。其中 ID1=%{WORD}-%{INT} 表明 ID1 模式由一个单词、一个连字符和一个整数组成；ID2=%{WORD}-%{WORD} 表示 ID2 模式由一个单词、一个连字符和另一个单词组成。ext_grok("content", grok="%{ID1:user_id1},%{ID2:user_id2}",extend="ID1=%{WORD}-%{INT},ID2=%{WORD}-%{WORD}")fields_drop("content")

加工结果：

{"user_id1":"Beijing-1104", "user_id2":"Beijing-Beijing"}

42、Grok 参考