日志服务 投递与消费概述

日志服务(Cloud Log Service,CLS)可以将日志主题中的数据投递到腾讯云 COS(对象存储)、CKafka(消息队列)、DLC(数据湖)、Splunk。可以以将日志主题当作一个 Topic,使用 Kafka 协议或者自定义消费 SDK 将数据消费至指定目标。

相关产品
日志服务 产品页,含版本规格、价格与购买入口。

一、投递

产品功能 目标类型 使用场景
投递到 COS 对象存储 长期存储。
投递到 CKafka 消息中间件 日志流处理。
投递到 DLC 数据湖 大数据分析。
投递到 Splunk 第三方产品/SIEM 在 Splunk 中分析日志。

二、消费

产品功能 计算框架/连接器 客户端说明
Kafka 协议消费 Logstash/Flume、Oceanus/Flink 等 支持社区标准库如 confluent-kafka,无缝对接多种大数据组件,使用简单。
自定义消费(SDK) 自研 Flink-Connector 自研 SDK,需要使用者有一定的代码能力。

三、预过滤函数

你可在日志投递和消费之前,使用预过滤函数对日志进行处理,将符合过滤条件的日志,投递或消费至对应的目标。目前 投递到 Splunk、自定义消费(SDK) 可支持预过滤。预过滤是 数据加工函数 的子集,参考如下表格说明。

四、逻辑表达式函数类

用于构建判断条件。

函数名称 函数功能 函数语法描述 返回值类型
op_if 根据条件判断,返回相应的值。 op_if(条件1, 值1, 值2) 条件为 True 时,返回值1,否则返回值2
op_and 对值进行 and 运算,均为 True 时,返回 True,否则返回 False。 op_and(值1, 值2, …) 返回计算的结果(BOOL)
op_or 对值进行 or 运算,若存在参数值为 False 则返回 False,否则返回 True。 op_or(值1, 值2, …) 返回计算的结果(BOOL)
op_not 对值进行 not 运算。 op_not(值) 返回计算的结果(BOOL)
op_eq 对值进行比较,相等则返回 True。 op_eq(值1, 值2) 返回比较的结果(BOOL)
op_ge 对值进行比较,值1大于或等于值2时返回 True。 op_ge(值1, 值2) 返回比较的结果(BOOL)
op_gt 对值进行比较,值1大于值2时返回 True。 op_gt(值1, 值2) 返回比较的结果(BOOL)
op_le 对值进行比较,值1小于或等于值2时返回 True。 op_le(值1, 值2) 返回比较的结果(BOOL)
op_lt 对值进行比较,值1小于值2时返回 True。 op_lt(值1, 值2) 返回比较的结果(BOOL)
op_null 对值进行是否为 null 判断,是则返回 True,否则返回 False。 op_null(值) 返回计算的结果(BOOL)
op_notnull 对值进行是否为非 null 判断,是则返回 True,否则返回 False。 op_notnull(值) 返回计算的结果(BOOL)
op_str_eq 对字符串值进行比较,相等则返回 True。 op_str_eq(值1, 值2, ignore_upper=False) 返回计算的结果(BOOL)
has_field 字段存在时,返回 True,否则返回 False。 has_field(字段名) 返回条件值(BOOL)
not_has_field 字段不存在时,返回 True,否则返回 False。 not_has_field(字段名) 返回条件值(BOOL)
str_exist 判断是否存在子串。注意:不支持正则表达式,不支持通配符 *。 str_exist(值1, 值2, ignore_upper=False) 返回计算的结果(BOOL)

五、行处理函数类

用于决定日志的去留。

函数名称 函数功能 函数语法描述 返回值类型
log_drop 丢弃符合条件的日志。 log_drop(条件1) 返回日志(LOG)
log_keep 保留符合条件的日志。 log_keep(条件1) 返回日志(LOG)

六、费用说明

投递会产生内网或外网读流量费用(暂不支持跨地域投递),请参见 计费概述,单价参见 产品定价。

七、规格与限制

你可参见 规格与限制 > 投递与消费。

赞 (0)
上一篇 4天前
下一篇 4天前