首页 >> 教程中心 >>推广教程 >> 如何解除封禁百度蜘蛛?
详细内容

如何解除封禁百度蜘蛛?

时间:2020-09-04        阅读
文章内容


常见的封禁行为包括robots封禁、封禁百度UA、封禁百度IP等。


如何验证网站和智能小程序是否存在封禁百度蜘蛛的情况?


1、首先,查看robots.txt文件,是否存在封禁记录,一般robots.txt文件放置在网站根目录下。

建议方案:解除robots封禁:robots封禁情况,请检查robots.txt文件,及时修改。


robots文件说明:

https://ziyuan.baidu.com/college/articleinfo?id=1516


 2、robots文件无异常,进一步排查是否存在封禁百度UA情况。


方案一:执行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'

注:正常返回码是200,其他情况为异常。

xxxxxxx为网站域名,如:http://mcppgl.com.cn。


正确识别和获取百度蜘蛛:

https://ziyuan.baidu.com/college/articleinfo?id=2855


 方案二:变更浏览器UA验证


建议方案:解除百度UA封禁:查看网站反爬虫策略,进行策略调整。或针对百度UA添加策略白名单。


3、以上验证均无异常,最后进一步排查是否存在IP级别的封禁。


常见的IP封禁,源自网站的防火墙系统配置,需要查看防火墙配置系统后台,检查是否存在百度蜘蛛的IP级别封禁措施。


建议方案:解除百度IP封禁:查看网站反爬虫策略,进行策略调整。


来源:百度站长平台


联系电话:152-3452-7450 / 17635100080
工作时间:周一至周六 08:00-20:00
网站邮箱:[email protected]
公司地址:太原市小店区宏安世纪大厦A座1406

未经授权禁止复制、建立镜像 . 版权所有  |  鸣蝉品牌管理有限公司  .  安全防御     保驾护航

业务范围

网站动态

关于网站

关于服务

简体中文
    seo seo