|
如何解除封禁百度蜘蛛?时间:2020-09-04 文章内容
常见的封禁行为包括robots封禁、封禁百度UA、封禁百度IP等。 如何验证网站和智能小程序是否存在封禁百度蜘蛛的情况? 1、首先,查看robots.txt文件,是否存在封禁记录,一般robots.txt文件放置在网站根目录下。 建议方案:解除robots封禁:robots封禁情况,请检查robots.txt文件,及时修改。 robots文件说明: https://ziyuan.baidu.com/college/articleinfo?id=1516 2、robots文件无异常,进一步排查是否存在封禁百度UA情况。 方案一:执行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx' 注:正常返回码是200,其他情况为异常。 xxxxxxx为网站域名,如:http://mcppgl.com.cn。 正确识别和获取百度蜘蛛: https://ziyuan.baidu.com/college/articleinfo?id=2855 方案二:变更浏览器UA验证 建议方案:解除百度UA封禁:查看网站反爬虫策略,进行策略调整。或针对百度UA添加策略白名单。 3、以上验证均无异常,最后进一步排查是否存在IP级别的封禁。 常见的IP封禁,源自网站的防火墙系统配置,需要查看防火墙配置系统后台,检查是否存在百度蜘蛛的IP级别封禁措施。 建议方案:解除百度IP封禁:查看网站反爬虫策略,进行策略调整。 来源:百度站长平台 |