问:百度蜘蛛一直显示抓取失败,403禁止
HTTP/1.1 403 Forbidden Server: wts/1.1 Date: Tue, 06 Aug 2019 09:11:25 GMT Content-Type: text/html Content-Length: 164 Connection: close怎么解决,服务器是不是屏蔽了百度蜘蛛的IP
答:您好,虚拟主机二级域名xuefuzhu.gotoip2.com屏蔽了百度蜘蛛访问的,请问您抓取的哪个网址,请提供抓取诊断详细页面截图我司查看下,非常感谢您长期对我司的支持!
问:
答:您好, 域名解析有问题,请删除这两条解析,等待解析生效再试,非常感谢您长期对我司的支持!
问:
昨天根据你的建议我删除了解析,但是还是不成功,还是403禁止错误,百度蜘蛛爬取不了,都快半年了
答:您好,截图百度抓取仍未更新,需要等待百度抓取服务器解析更新才能正常访问,非常感谢您长期对我司的支持!
问:一般几天或者几小时
问:解析昨天晚上就删了
答:您好,根据我司经验,百度有一定的缓存,大概2-3天左右才能更新,请等待。可以点“报错”反馈下,更新速度会快点
问:127.0.0.1 这个IP 百度蜘蛛抓取老异常
帮忙看下是否有屏蔽,
答:您好,目前我司核实结果来看,是百度方面出现异常导致.我司防火墙方面最近并没有调整,同时测试其他公司的几个站点,使用抓取诊断也无法成功,非常感谢您长期对我司的支持!
问:网站显示屏蔽百度蜘蛛
答:您好,
检查您的网站日志可以看到百度蜘蛛是可以正常抓取的。若您是要屏蔽百度蜘蛛的抓取。可以参考https://www.west.cn/faq/list.asp?unid=626处理。非常感谢您长期对我司的支持!
问:他说我服务器上面是不是做了什么处理了
答:您好,
www.fkgzs.com 这个域名是直接A记录指向到服务器IP地址的并且该服务器上web服务是使用的IIS而不是nginx,并且我们在第三方工具里面模拟百度蜘蛛抓取是无问题的。请您将这些情况反馈给百度那边核实,请知晓。不过如果您要使用百度云观测的话会有问题,我们机房屏蔽了百度云观测的节点IP(但是不会影响任何百度蜘蛛的收录等情况)。很多用户使用百度云观测导致站点访问异常,以及服务器负载高的情况。非常感谢您对我司的支持,谢谢!