问:http://yun.ithuzhi.com/ 还是这个问题,已经去掉了cdn,百度抓取诊断失败,这个不能被百度抓取有什么用?前面提交了那么多工单,都没解决问题。希望能够重视这个问题,这个问题不解决,代理商如何推广出去,如何做大做强?希望这次一定要一次性解决此问题。技术的小伙伴,加加油,多查点技术资料帮忙解决这个百度抓取问题。
,地址百度抓取诊断失败
答:您好,非常抱歉,给您的使用带来不便了。 为便于解决问题,我司临时将您的网站添加了百度站长工具,您稍后可以自己重新将网站验证到您自己百度站长帐号下,谢谢
我司测试开始确实失败,现在已经测试好了,
我司现在测试已经可以全部抓取成功了,请测试,谢谢
问: 猪猪抓取失败服务器有问题
答:您好,
请问是百度蜘蛛抓取失败吗?请提供以下信息以便为您核实:
1.请提供具体域名
2.请在百度站长平台 – 抓取诊断测试是否有报错,如果有报错,请提供完整报错截图为您查看一下。
,非常感谢您长期对我司的支持.由此给您带来的不便之处,敬请原谅!谢谢!
问: 百度蜘蛛抓取显示成功 后面还有抓取异常 怎么回事?麻烦看一下什么问题。 www.huananyule.vip
答:您好,
您反馈的截图模拟抓取成功,并且结合网站日志分析,有正常的蜘蛛抓取记录,是成功的,如下截图。因此蜘蛛抓取您网页并无问题,如果站长平台有少量的抓取错误并无影响,可能是当时网络繁忙的原因。
,非常感谢您长期对我司的支持.由此给您带来的不便之处,敬请原谅!谢谢!
问:百度RObots检测说是服务器配置有误
答:您好,
测试通过域名ertongeq.com访问站点的robots文件http://ertongeq.com/robots.txt 可以打开,
测试在百度站长平台测试通过该站点绑定的其他域名daguoeq.cn是可以正常检测通过的;
由此推测可能是百度那边对域名ertongeq.com的解析有问题导致,您可以在百度那边提交抓取诊断,测试下是否抓取正常,如果抓取失败,可以将抓取失败的报错信息发给我们以便排查;非常感谢您长期对我司的支持!
问:抓取失败截图
答:您好,
1、测试开启站点访问日志,在百度那边测试验证robots文件,使用域名ertongeq.com进行测试时,站点访问日志文件中没有记录,说明访问都没有到apache,使用域名daguoeq.cn测试是有访问日志记录的,怀疑是百度那边有缓存,需要您在百度站长平台https://ziyuan.baidu.com/feedback/index 向百度那边提交下反馈;
2、从您给的截图来看,百度在抓取诊断中访问的ip是正常的;抓取诊断访问域名ertongeq.com显示“robots封禁”是由于您添加的robots文件,禁止访问了站点首页,请您调整下robots规则;非常感谢您长期对我司的支持!