|
Web 应用防火墙设置合法爬虫规则时间:2020-08-27 文章内容
合法爬虫功能提供合法搜索引擎白名单(例如Google、Bing、百度、搜狗、360、Yandex等),方便您为域名设置放行合法爬虫的访问请求。 注意:本文介绍的合法爬虫功能对应2020年1月发布的新版控制台界面。如果您使用在此日期前开通的Web应用防火墙实例,则不支持设置合法爬虫规则。 前提条件
背景信息合法爬虫规则依据阿里云爬虫情报库,帮助您直接放行合法爬虫请求。 阿里云爬虫情报库基于阿里云全网流量计算得出并可实时更新,涵盖合法爬虫访问请求来源的特征信息。合法爬虫支持主流搜索引擎的爬虫IP信息,可动态更新,目前包含Google、百度、搜狗、360、Bing、Yandex。 启用合法爬虫规则后,来自相关搜索引擎的合法爬虫IP将被直接放行,不经过Bot管理模块的防护检测。
操作步骤
默认规则支持单独设置放行来自以下搜索引擎的爬虫请求:Google、Bing、百度、搜狗、360、Yandex。您也可以只开启合法搜索引擎白名单规则,放行所有支持的搜索引擎白名单。 来源: 阿里云文档中心 Web 应用防火墙 设置合法爬虫规则 |