日志服务 正则处理函数

一、简介

三、函数定义

基于正则对数据进行匹配，返回是否匹配成功，可以选择全匹配还是部分匹配。

注意：说明：

注意：在部分场景下，该函数可使用 str_exist 函数代替，处理效率更高。

语法描述

regex_match(data, regex="", full=true)

四、参数说明

五、示例

·示例1：判断正则公式"\\d{3}.\\d{3}.\\d.\\d"和192.168.0.1是否完全匹配，regex_match 函数返回 True。正则表达式"\\d{3}.\\d{3}"和192.168.0.1是否完全匹配，regex_match 函数返回 False.
原始日志：

{"IP":"192.168.0.1", "status": "500"}

加工规则：

//判断正则公式"\\d{3}.\\d{3}.\\d.\\d"和字段ip的值192.168.0.1是否完全匹配，将结果保存到新字段"matched"中。t_if_else(regex_match(v("IP"), regex="\\d{3}.\\d{3}.\\d.\\d", full=True), fields_set("matched", True),fields_set("matched", False))//正则公式"\\d{3}.\\d{3}"和字段ip的值192.168.0.1是否完全匹配：t_if_else(regex_match(v("IP"), regex="\\d{3}.\\d{3}", full=True), fields_set("matched2", True),fields_set("matched2", False))

{"IP":"192.168.0.1","matched":"true","matched2":"false","status":"500"}

·示例2：判断正则公式"\\d{3}.\\d{3}"和字段 IP 的值192.168.0.1是否部分匹配，regex_match 函数返回 True。
原始日志：

{"IP":"192.168.0.1", "status": "500"}

加工规则：

t_if(regex_match(v("IP"), regex="\\d{3}.\\d{3}", full=False), fields_set("matched", True))

加工结果：

{"IP":"192.168.0.1","matched":"true","status":"500"}

七、函数定义

基于正则对数据进行匹配，返回相应的部分匹配结果，可以指定匹配结果的第几个表达式，以及第几个分组（部分匹配+指定捕获组序号），如果最终没有匹配结果，则返回空字符串。

八、语法描述

regex_select(data, regex="", index=1, group=1)

九、参数说明

十、示例

根据正则表达式，对字段值进行不同的截取。

原始日志：

{"data":"hello123,world456", "status": "500"}

加工规则：

fields_set("match_result", regex_select(v("data"), regex="[a-z]+(\\d+)",index=0, group=0))fields_set("match_result1", regex_select(v("data"), regex="[a-z]+(\\d+)", index=1, group=0))fields_set("match_result2", regex_select(v("data"), regex="([a-z]+)(\\d+)",index=0, group=0))fields_set("match_result3", regex_select(v("data"), regex="([a-z]+)(\\d+)",index=0, group=1))

加工结果：

{"match_result2":"hello123","match_result1":"world456","data":"hello123,world456","match_result3":"hello","match_result":"hello123","status":"500"}

十二、函数定义

基于正则对数据进行分割，返回 JSON Array 字符串（部分匹配）。

十三、语法描述

regex_split(data, regex=\\"\\", limit=100)

十四、参数说明

十五、示例

原始日志：

{"data":"hello123world456", "status": "500"}

加工规则：

fields_set("split_result", regex_split(v("data"), regex="\\d+"))

加工结果：

{"data":"hello123world456","split_result":"[\\"hello\\",\\"world\\"]","status":"500"}

十七、函数定义

基于正则匹配并替换（部分匹配），主要用于脱敏场景。

十八、语法描述

regex_replace(data, regex="", replace="", count=0)

十九、参数说明

20、示例

·示例1：根据正则表达式，对字段值进行替换。
原始日志：

{"data":"hello123world456", "status": "500"}

加工规则：

fields_set("replace_result", regex_replace(v("data"), regex="\\d+", replace="", count=0))

加工结果：

{"replace_result":"helloworld","data":"hello123world456","status":"500"}

·示例2：对用户 ID、手机号码、IP 地址进行脱敏。
原始日志：

{"Id": "dev@12345","Ip": "11.111.137.225","phonenumber": "13912345678"}

加工规则：

//对 Id 字段进行脱敏处理，结果为dev@***45fields_set("Id",regex_replace(v("Id"),regex="\\d{3}", replace="***",count=0))fields_set("Id",regex_replace(v("Id"),regex="\\S{2}", replace="**",count=1))//对 phonenumber 字段进行脱敏处理，将中间的4位数替换为****，结果为139****5678fields_set("phonenumber",regex_replace(v("phonenumber"),regex="(\\d{0,3})\\d{4}(\\d{4})", replace="$1****$2"))//对 IP 字段进行脱敏处理，将第二段替换为***，结果为11.***137.225。fields_set("Ip",regex_replace(v("Ip"),regex="(\\d+\\.)\\d+(\\.\\d+\\.\\d+)", replace="$1***$2",count=0))

加工结果：

{"Id":"**v@***45","Ip":"11.***.137.225","phonenumber":"139****5678"}

22、函数定义

基于正则进行匹配，并将匹配结果添加到 JSON 数组中，并返回 Array 字符串（部分匹配）。

23、语法描述

regex_findall(data, regex="")

24、参数说明

25、示例

原始日志：

{"data":"hello123world456", "status": "500"}

加工规则：

fields_set("result", regex_findall(v("data"), regex="\\d+"))

加工结果：

{"result":"[\\"123\\",\\"456\\"]","data":"hello123world456","status":"500"}

27、函数定义

检测敏感信息，例如身份证、银行卡等敏感信息。

注意：请谨慎使用脱敏遮盖选项 replace_items，脱敏后的数据无法复原。

28、语法描述

sensitive_detection(scope="", ratio=1, discover_items="", replace_items="")

29、参数说明

30、示例

原始日志：

{ "sensitive_field1": "CLS log 13912345678 my car JTJHT00W274025559 www.tencent.com CLS数据加工", "sensitive_field2": "etl@tenctent.com ", "NON_sensitive_field": "hello world"}

加工规则：

/*scope=ALL_FIELDS意为搜索整条日志中的所有字段sample_ratio=1,意为对所有的日志进行敏感信息检测电话、Email进行检测并将电话信息脱敏(遮盖),请谨慎使用replace_items选项,遮盖后无法复原.*/sensitive_detection(scope="ALL_FIELDS", sample_ratio=1, discover_items="CHINA_PHONE_NUM,EMAIL",replace_items="CHINA_PHONE_NUM")

加工结果：

{"NON_sensitive_field":"hello world","SENSITIVE_FLAGS":"CHINA_PHONE_NUM,EMAIL",//检测到了电话号码和邮件两种敏感信息//遮盖了电话号码"sensitive_field1":"CLS log 139****5678 my car JTJHT00W274025559 www.tencent.com CLS数据加工","sensitive_field2":"etl@tenctent.com "}

31、敏感检测项说明：