首页 >> 教程中心 >>推广教程 >> Web 应用防火墙设置合法爬虫规则
详细内容

Web 应用防火墙设置合法爬虫规则

时间:2020-08-27        阅读
文章内容


合法爬虫功能提供合法搜索引擎白名单(例如Google、Bing、百度、搜狗、360、Yandex等),方便您为域名设置放行合法爬虫的访问请求。

注意:本文介绍的合法爬虫功能对应2020年1月发布的新版控制台界面。如果您使用在此日期前开通的Web应用防火墙实例,则不支持设置合法爬虫规则。

前提条件

  • 已开通Web应用防火墙实例,且开启了高级配置下的Bot管理模块。

  • 已完成网站接入。

背景信息

合法爬虫规则依据阿里云爬虫情报库,帮助您直接放行合法爬虫请求。

阿里云爬虫情报库基于阿里云全网流量计算得出并可实时更新,涵盖合法爬虫访问请求来源的特征信息。合法爬虫支持主流搜索引擎的爬虫IP信息,可动态更新,目前包含Google、百度、搜狗、360、Bing、Yandex。

启用合法爬虫规则后,来自相关搜索引擎的合法爬虫IP将被直接放行,不经过Bot管理模块的防护检测。


说明:在Bot管理模块外,您还可以使用访问控制/限流规则进一步过滤来自于合法爬虫白名单IP的请求。

操作步骤

  1. 登录Web应用防火墙控制台。

  2. 在顶部菜单栏,选择Web应用防火墙实例的资源组和地域(中国内地、海外地区)。

  3. 在左侧导航栏,单击防护配置 > 网站防护。

  4. 在网站防护页面上方,切换到要设置的域名。


  1. 单击Bot管理页签,定位到Bot管理模块下的合法爬虫,开启状态开关,并单击前去配置。


  1. 在合法爬虫规则列表,根据情报名称选择要放行的合法爬虫,开启对应的启用状态开关。

默认规则支持单独设置放行来自以下搜索引擎的爬虫请求:Google、Bing、百度、搜狗、360、Yandex。您也可以只开启合法搜索引擎白名单规则,放行所有支持的搜索引擎白名单。

来源: 阿里云文档中心 Web 应用防火墙 设置合法爬虫规则


联系电话:152-3452-7450 / 17635100080
工作时间:周一至周六 08:00-20:00
网站邮箱:[email protected]
公司地址:太原市小店区宏安世纪大厦A座1406

未经授权禁止复制、建立镜像 . 版权所有  |  鸣蝉品牌管理有限公司  .  安全防御     保驾护航

业务范围

网站动态

关于网站

关于服务

简体中文
    seo seo