边缘安全加速平台 EO 如何使用日志分析检索语句

筛选条件类型

日志分析的筛选条件分为三类：

1. 日志源（必选）：选择日志类型（七层访问日志或托管规则日志）与数据可用区。

2. 时间范围（必选）：查看所选的时间范围内的数据，详情请参见 如何修改日志分析查询时间范围。

3. 其他筛选条件：按支持的筛选项自定义过滤。不同日志类型支持的筛选项不同，详情请参见 支持的筛选项。

检索模式与结果呈现

检索栏提供两种模式，通过检索栏左侧的模式切换控件切换。

执行检索后，页面会根据检索语句内容展示不同结果：

·检索语句不含 SQL 时，默认展示「原始日志」页。

·检索语句包含 SQL 时，执行后将停留在「统计结果」页并渲染统计表格；表格上方提供结果下载入口。「原始日志」页将同时展示命中筛选条件的日志数据，可自由切换。

检索语句结构

一条完整的检索语句由筛选条件与 SQL 统计语句两部分组成，以管道符 | 拼接：

[筛选条件] | [SQL]

·筛选条件：对原始日志做行级过滤，语法见下文 筛选条件语法。

·SQL：对筛选后的结果做聚合统计，语法见下文 SQL 统计语法。SQL 部分可省略，省略时仅返回命中的原始日志。

筛选条件语法

一、表达式结构

日志分析筛选条件表达式由筛选项、运算符和值三部分构成，其格式如下：

·筛选项：${…} 形式的内置日志字段，例如 ${RequestHost}、${EdgeResponseStatusCode}。

·运算符：判断筛选项与值之间的关系，例如 in、>。

·值：字符串、数字或列表。字符串值需以单引号标注并置于方括号内，例如['POST']；数字值可直接书写，例如 >500。

·多个筛选条件之间的关系：多个筛选条件之间采用“且”关系，同一筛选条件包含多个值时，多个值之间采用“或”关系。例如，${ClientRegion} in ['SG','TH'] AND ${EdgeResponseStatusCode} in [404] 表示检索同时满足以下条件的日志数据：客户端国家/地区为新加坡或泰国，且边缘响应状态码为 404。

二、逻辑运算符

多个筛选条件可通过逻辑运算符组合：

运算符优先级为 NOT > AND > OR。逻辑运算符大小写不敏感，and 与 AND 等价。

三、匹配运算符

各字段支持的匹配运算符请参见 支持的筛选项。

SQL 统计语法

在筛选条件后以管道符 | 拼接 SQL 语句，可对命中筛选条件的日志做聚合统计。SQL 采用 MySQL 风格语法，遵循以下约定：

·日志字段需使用双引号引用，例如 "ClientIP"。

·无需编写 FROM 子句，统计对象为管道符左侧筛选后的日志数据。

以 统计 Top 100 客户端 IP 的请求量 为例，一条 SQL 可逐步搭建：

·select "ClientIP", count(*) as cnt：选出客户端 IP 及其日志条数，count(*) 统计条数，as cnt 为结果列命名。

·group by "ClientIP"：按客户端 IP 分组，分别统计每个 IP 的条数。

·order by cnt desc：按条数降序排序。

·limit 100：只返回前 100 行。

拼接后的完整检索语句为：

${RequestHost} in ['example.com'] | select "ClientIP", count(*) as cnt group by "ClientIP" order by cnt desc limit 100

检索语句示例

1. 筛选指定域名下响应耗时大于 500ms 的请求：

${RequestHost} in ['example.com'] and ${EdgeResponseTime} > 500

2. 筛选指定域名下状态码为 404 或 500 的请求：

${RequestHost} in ['example.com'] and ${EdgeResponseStatusCode} in ['404', '500']

3. 在七层访问日志中，筛选触发指定规则且处置方式为拦截或观察的请求：

${SecurityRuleID} in ['2123456789'] and ${SecurityAction} in ['Deny', 'Monitor']

4. 在托管规则日志中，筛选请求路径命中托管规则且最终被拦截的请求：

${SecurityMatchingPosition} in ['Full request path'] and ${SecurityAction} in ['drop']

5. 统计指定域名下各状态码的请求数，按条数降序排列：

${RequestHost} in ['example.com'] | select "EdgeResponseStatusCode", count(*) as cnt group by "EdgeResponseStatusCode" order by cnt desc

6. 统计指定域名下访问量 Top 100 的客户端 IP 及其占比：

${RequestHost} in ['example.com'] | select "ClientIP", count(*) as cnt, round(count(*)*100.0/(select count(*)), 2) as pct group by "ClientIP" order by cnt desc limit 100

7. 统计指定域名下平均响应耗时与最大响应耗时：

${RequestHost} in ['example.com'] | select avg("EdgeResponseTime") as avg_time, max("EdgeResponseTime") as max_tim

支持筛选项

四、七层访问日志

日志类型为「七层访问日志」时，支持以下筛选条件。各字段的详细说明与取值请参见 七层访问日志。

五、通用字段

六、请求信息

七、客户端信息

八、响应信息

九、边缘服务端信息

十、源站信息

十一、安全防护信息

十二、托管规则日志

日志类型为「托管规则日志」时，支持以下筛选条件。各字段的详细说明与取值请参见 托管规则日志。

十三、请求信息

十四、客户端信息

十五、安全防护信息