一、功能概述
1. 允许搜索引擎爬虫访问,避免误拦截。
2. 识别特定用途的商业化工具,限制其访问。
EdgeOne 会定期更新自动化工具的特征,确保你的策略持续覆盖管控场景。
二、使用场景
默认情况下,Bot 基础特征管理策略为未启用状态。当你有以下场景诉求的时候,可以开启并按需调整 Bot 基础特征管理防护策略:
·管控来源于 IDC(数据中心)的请求
大部分 To C 应用的访问来源均来自移动网络、宽带供应商、或教育网等网络,正常请求不会来源于数据中心(IDC)。因此,来自云供应商或者数据中心的请求,多来自于代理或者爬虫。你可以选择管控来源于数据中心(IDC)的请求,对其进行拦截或者 JavaScript 挑战,以缓解恶意访问的风险。
·管控合法的具有搜索引擎特征的 Bot 请求
搜索引擎的爬虫是目前少数合法的 Bot 类型之一。为了站点能够区分来源于搜索引擎的合法爬虫,大部分搜索引擎供应商提供了其爬虫引擎使用的网段和 UA 特征。EdgeOne 的搜索引擎特征规则集合了搜索引擎公开的 IP 特征、User-Agent 头部特征、rDNS 解析特征等多种匹配方式。你可以针对搜索引擎特征的 Bot 请求配置为放行,以避免被 Bot 管理策略拦截。
·管控来自于商用或开源工具的请求
商业化工具软件或开源工具往往携带了特定的 User-Agent 特征,EdgeOne 根据使用用途对这些自动化工具进行了分类,并定期更新对应的 User-Agent 库。如果你不允许来自这些商业或者开源工具的 Bot 请求,你可以对其进行拦截。
三、调整基础特征管理防护策略
例如:电商站点shop.example.com为了避免被用户通过工具的方式来进行下单抢购,需要禁用自动购物车类的 Bot。你可以参照以下步骤操作:
1. 登录 边缘安全加速平台 EO 控制台,在左侧菜单栏中,进入服务总览,单击网站安全加速内需配置的站点。
2. 单击安全防护 > Web 防护。默认为站点级防护策略,单击域名级防护策略 Tab,在域名级防护策略中,单击目标域名进入目标域名防护策略配置界面,例如:shop.example.com。
3. 定位到 Bot 管理卡片,选择基础特征管理中的 UA 特征规则,单击右上角详细规则。
4. 在详细规则页中,你可以单独针对指定的规则 ID 修改 处置方式;如果你需要批量配置,也可以单击批量配置,批量勾选需要配置的规则 ID 后,选择处置方式并应用。以当前场景为例,你可以对自动购物车机器人进行管控,修改该规则的处置方式为拦截。
5. 单击确定,完成修改。