安全加速 SCDN BOT 爬虫防护

一、应用场景

融合腾讯云 Web 防火墙 AI+规则的 BOT 爬虫防护功能，面向全量加速请求进行行为分析，对友好及恶意的 Bot 爬虫进行甄别，支持自定义策略管理。

二、防护配置

购买 BOT 防护功能的用户，可登录 SCDN 控制台，进入 BOT 防护管理防护配置页面，开启/关闭 BOT 防护。

三、公开类型策略配置

SCDN ⽬前提供12个已知公开的 BOT ⼤类，超过1000+的 BOT ⼦类，包括搜索引擎、测速⼯具、内容聚合、扫描和⽹⻚爬⾍等类别。⽤户可以根据⾃身需求对公开 BOT 类别设置防护动作（放⾏、监控、拦截），防护引擎将对命中公开类型的 BOT 请求进⾏相应处理。进入 BOT 爬虫防护 > 公开类型页面，默认展示 BOT 公开类型列表，页面操作说明如下：

·单击设为监控：若访问域名出现该 BOT 行为将触发 BOT 监控。

·单击设为拦截：若访问域名出现该 BOT 行为将触发 BOT 拦截。

·单击复制：可以将当前域名的公开类型 BOT 设置信息复制到其他开启了 BOT 防护的域名，最多可选20个域名。

四、协议特征策略配置

安全加速支持17种协议特征 BOT 防护规则配置。
策略分类：分为 User-Agent 类别、HTTP 头部、HTTP 协议特征。
执行动作：协议特征策略开启时默认动作为“放行”，可通过右侧操作栏进行设置为“拦截”或者“监控”。
策略开关：默认为关闭。你可根据业务需求开启单项协议特征策略。

五、自定义会话规则配置

安全加速支持用户可自定义配置 BOT 会话特征规则，进入自定义会话规则页面。
策略名称：策略名称和描述信息。
匹配条件：策略匹配条件内容，1条策略最多可以添加10个匹配条件，匹配条件之间是“与”的关系。
执行动作：策略动作信息，展示添加策略时设置的动作信息，可通过右侧操作栏进行修改。
操作：对策略进行编辑或删除操作。单击编辑可进行规则内容修改。
策略开关：展示添加策略时设置的开关状态信息。
批量操作：支持批量编辑自定义会话特征（如，统一修改执行动作、复制到其他已开启 BOT 防护的域名等）。

单击新增配置：添加自定义会话特征。

⾃定义会话特征匹配条件说明如下：

分类	过滤条件	条件说明
会话特征	会话平均速度	为会话请求总次数 / 会话持续时间，单位为：次/分钟。
	会话窗口速度	每2分钟（窗口）内的会话访问速度，单位为：次/分钟。
	会话总次数	一个 BOT 会话发生的总访问次数。
	会话持续时间	BOT 会话的持续时间。
	会话存在 Robots.txt	会话请求中访问 Robots.txt 文件。
	会话发生在凌晨	会话请求发生在凌晨2:00 – 5:00之间。
请求特征	请求最多的 URL	会话请求中，请求最多的 URL。
	URL 重复比	会话请求中 URL 重复比例，取值范围0 – 1，根据实际业务情况，进行参数配置，过高或过低为疑似异常（根据实际情况进行判断）。
	URL 种类	会话请求中 URL 去重后条目数。
	请求最多的参数	会话请求出现最多的参数，包括 GET 请求参数（Query 内容）或 POST 请求参数（Body 内容）。
	参数重复比	会话请求中 GET 请求参数（Query 内容）或 POST 请求参数（Body 内容）重复比例，取值范围0 – 1，根据实际业务情况，进行参数配置，过高或过低疑似异常（根据实际情况进行判断）。
COOKIE	COOKIE 存在性	会话请求中，判断 HTTP 头部字段是否存在 COOKIE。
	请求最多的 COOKIE	会话请求中，出现最多的 COOKIE。
	COOKIE 重复比	会话请求中 COOKIE 的重复比例，取值范围0 – 1。
	COOKIE 存在比	会话请求中 COOKIE 存在比例，取值范围0 – 1。
	COOKIE 滥用	多种不同的 UA 使用相同的 COOKIE。
	COOKIE 种类	会话请求中 COOKIE 去重后的数目。
Referer	Referer 存在性	会话请求中，判断 HTTP 头部字段是否存在 Referer。
	请求最多的 Referer	会话请求中，HTTP Referer 字段出现最多的值。
	Referer 重复比	会话请求中 Referer 的重复比例，取值范围0 – 1，对浏览器访问有效，过高疑似异常（根据实际情况进行判断）。
	Referer 存在比	会话请求中 Referer 存在比例，取值范围0 – 1，对浏览器访问有效，过低疑似异常（根据实际情况进行判断）。
	Referer 滥用	多种不同的 UA 使用相同的 Referer。
	Referer 种类	会话请求中 Referer 去重后的数目。
UA	UA存在性	会话请求中，判断 HTTP 头部字段是否存在 User-Agent。
	请求最多的 UA	会话请求中，HTTP User-Agent 字段出现最多的值。
	UA 存在比	会话请求中 UA 的存在比例，取值范围0 – 1，过低疑似异常（根据实际情况进行判断）。
	UA 种类	会话请求中 UA 去重后的数目，过多疑似异常（根据实际情况进行判断），对非代理 IP 有效。
	UA 类型	UA 类型为浏览器。UA 类型为移动端。UA 类型游戏终端或电视终端。UA 类别为公开 BOT 类型。UA 类别为未公开 BOT 类型。UA 类别为自动化工具。UA 类别为未知类型。UA 类别为公开扫描器。UA 类别为开发框架。UA 类别为语言 HTTP 库。
	UA 随机性指数	会话请求中 UA 的随机分布情况，取值范围0 -1，指数越高越异常。参考值阈值：超过0.6疑似异常，指数超过0.92基本确定为异常。
其他 HTTP 头部	Accept 存在性	会话请求中判断 HTTP 头部字段是否存在 Accept 字段。
	Accept-Language 存在性	会话请求中判断 HTTP 头部字段是否存在 Accept-Language 字段。
	Accept-Encoding 存在性	会话请求中判断 HTTP 头部字段是否存在 Accept-Encoding 字段。
	Connectiton 存在性	会话请求中判断 HTTP 头部字段是否存在 Connectiton 字段。
	请求方法占比	会话请求中判断请求使用方法。
	返回状态码比例	会话请中 WAF 返回给客户状态码比例。