一、操作步骤
1. 登录 边缘安全加速平台 EO 控制台,在左侧菜单栏中,进入服务总览,单击网站安全加速内需配置的站点。
2. 单击安全防护 > Web 防护。默认为站点级防护策略,单击域名级防护策略 Tab,在域名级防护策略中,单击目标域名进入目标域名防护策略配置界面,例如:shop.example.com。
3. 定位到 Bot 管理卡片,进入基础 Bot 管理 > AI 爬虫处置卡片。
4. 点击编辑,配置 AI 爬虫的处置方式,AI 爬虫处置功能支持观察、拦截、放行、JavaScript 挑战、托管挑战处置方式,请根据业务兼容性配置合适的选项,详情请参见 处置方式。
5. 单击保存,完成配置。
注意:说明:
注意:1. AI 爬虫处置基于请求的 User-Agent 字段进行特征识别,如需基于请求的行为特征、 IP 画像特征、请求速率等智能分析功能,请订阅 Bot 管理 功能进行分析和处置。
注意:2. 若你发现有正常流量被误拦截,请配置 防护例外规则,恢复被处置的正常访问流量。
二、相关参考
启用 AI 爬虫处置功能后,将会对以下 AI 爬虫请求进行识别和处置:
Amazon Kendra(Amazon)Anchor Browser(Anchor)ClaudeBot(Anthropic-AI)atlassian-bot(atlassian)AwarioSmartBot(Awario)bigsur.ai(Big Sur AI)Cotoyogi(Cotoyogi)Factset_spyderbot(Factset)GoogleOther(Google)Google-CloudVertexBot(Google)Google NotebookLM(Google)Google-Extended(Google)pangu(Huawei)Liner Bot(Liner Bot)Meta-ExternalAgent(Meta)Novellum AI Crawl(Novellum)GPTBot(OpenAI)ShapBot(Parallel)PerplexityBot(Perplexity)QualifiedBot(Qualified.com, Inc.)WARDBot(WEBSPARK)