一、投递
| 产品功能 | 目标类型 | 使用场景 |
| 投递到 COS | 对象存储 | 长期存储。 |
| 投递到 CKafka | 消息中间件 | 日志流处理。 |
| 投递到 DLC | 数据湖 | 大数据分析。 |
| 投递到 Splunk | 第三方产品/SIEM | 在 Splunk 中分析日志。 |
二、消费
| 产品功能 | 计算框架/连接器 | 客户端说明 |
| Kafka 协议消费 | Logstash/Flume、Oceanus/Flink 等 | 支持社区标准库如 confluent-kafka,无缝对接多种大数据组件,使用简单。 |
| 自定义消费(SDK) | 自研 Flink-Connector | 自研 SDK,需要使用者有一定的代码能力。 |
三、预过滤函数
你可在日志投递和消费之前,使用预过滤函数对日志进行处理,将符合过滤条件的日志,投递或消费至对应的目标。目前 投递到 Splunk、自定义消费(SDK) 可支持预过滤。预过滤是 数据加工函数 的子集,参考如下表格说明。
四、逻辑表达式函数类
用于构建判断条件。
| 函数名称 | 函数功能 | 函数语法描述 | 返回值类型 |
| op_if | 根据条件判断,返回相应的值。 | op_if(条件1, 值1, 值2) | 条件为 True 时,返回值1,否则返回值2 |
| op_and | 对值进行 and 运算,均为 True 时,返回 True,否则返回 False。 | op_and(值1, 值2, …) | 返回计算的结果(BOOL) |
| op_or | 对值进行 or 运算,若存在参数值为 False 则返回 False,否则返回 True。 | op_or(值1, 值2, …) | 返回计算的结果(BOOL) |
| op_not | 对值进行 not 运算。 | op_not(值) | 返回计算的结果(BOOL) |
| op_eq | 对值进行比较,相等则返回 True。 | op_eq(值1, 值2) | 返回比较的结果(BOOL) |
| op_ge | 对值进行比较,值1大于或等于值2时返回 True。 | op_ge(值1, 值2) | 返回比较的结果(BOOL) |
| op_gt | 对值进行比较,值1大于值2时返回 True。 | op_gt(值1, 值2) | 返回比较的结果(BOOL) |
| op_le | 对值进行比较,值1小于或等于值2时返回 True。 | op_le(值1, 值2) | 返回比较的结果(BOOL) |
| op_lt | 对值进行比较,值1小于值2时返回 True。 | op_lt(值1, 值2) | 返回比较的结果(BOOL) |
| op_null | 对值进行是否为 null 判断,是则返回 True,否则返回 False。 | op_null(值) | 返回计算的结果(BOOL) |
| op_notnull | 对值进行是否为非 null 判断,是则返回 True,否则返回 False。 | op_notnull(值) | 返回计算的结果(BOOL) |
| op_str_eq | 对字符串值进行比较,相等则返回 True。 | op_str_eq(值1, 值2, ignore_upper=False) | 返回计算的结果(BOOL) |
| has_field | 字段存在时,返回 True,否则返回 False。 | has_field(字段名) | 返回条件值(BOOL) |
| not_has_field | 字段不存在时,返回 True,否则返回 False。 | not_has_field(字段名) | 返回条件值(BOOL) |
| str_exist | 判断是否存在子串。注意:不支持正则表达式,不支持通配符 *。 | str_exist(值1, 值2, ignore_upper=False) | 返回计算的结果(BOOL) |
五、行处理函数类
用于决定日志的去留。
| 函数名称 | 函数功能 | 函数语法描述 | 返回值类型 |
| log_drop | 丢弃符合条件的日志。 | log_drop(条件1) | 返回日志(LOG) |
| log_keep | 保留符合条件的日志。 | log_keep(条件1) | 返回日志(LOG) |
六、费用说明
投递会产生内网或外网读流量费用(暂不支持跨地域投递),请参见 计费概述,单价参见 产品定价。
七、规格与限制
你可参见 规格与限制 > 投递与消费。