常见的封禁行为包括robots封禁、封禁百度UA、封禁百度IP等。

如何验证网站和智能小程序是否存在封禁百度蜘蛛的情况？

1、首先，查看robots.txt文件，是否存在封禁记录，一般robots.txt文件放置在网站根目录下。

建议方案：解除robots封禁：robots封禁情况，请检查robots.txt文件，及时修改。

robots文件说明：

https://ziyuan.baidu.com/college/articleinfo?id=1516

 2、robots文件无异常，进一步排查是否存在封禁百度UA情况。

方案一：执行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'

注：正常返回码是200，其他情况为异常。

xxxxxxx为网站域名,如：http://mcppgl.com.cn。

正确识别和获取百度蜘蛛：

https://ziyuan.baidu.com/college/articleinfo?id=2855

 方案二：变更浏览器UA验证

建议方案：解除百度UA封禁：查看网站反爬虫策略，进行策略调整。或针对百度UA添加策略白名单。

3、以上验证均无异常，最后进一步排查是否存在IP级别的封禁。

常见的IP封禁，源自网站的防火墙系统配置，需要查看防火墙配置系统后台，检查是否存在百度蜘蛛的IP级别封禁措施。

建议方案：解除百度IP封禁：查看网站反爬虫策略，进行策略调整。

来源：百度站长平台