问:你好,最近网站收录效果很差,于是反馈了百度站长平台,得到的结果是说网站抓取时间比较慢的原因,但我们自己感觉网站访问速度没什么问题啊,为什么抓取会慢呢?是不是服务器上设置出来什么问题呢?能否帮忙分析下网站日志看看什么原因,或者告诉我们网站访问日志文件在什么位置!谢谢,网站百度蜘蛛抓取时间慢
答:您好,目前检查您的服务器各项资源使用正常,测试访问两个域名https://www.hao-sheng-yi.com/ 和http://www.weizengo.com/打开都是很快的,您可以在百度站长平台测试抓取一些静态的资源,看下速度如何,如果能抓取到只是抓取较慢,可能和百度蜘蛛本身服务器线路到达您的服务器有关,这个不太好改善。
如需分析日志,需要您开启下wdcp面板中站点的日志,开启后才会记录,默认是没有开启的,谢谢。
问:为什么在网站日志中找不到各大搜索引擎访问日志?请问日志目录是不是这个/home/web_logs/?www.c2b360.com站点已开启所有日志记录,为什么没有搜索引擎访问记录?
答:您好,查看您的日志应该是刚刚开启,请等待蜘蛛的抓取,可以搜索baiduspider,google等关键词获取下,目前还没有请不要着急,蜘蛛对新站的抓取是逐步的,您可以在百度站长平台注册一个帐号,接入下网站,可以看到每日的抓取情况。
另外注意下robots.txt以及.htaccess文件中不要有限制屏蔽蜘蛛名或者IP等的规则,谢谢。
问:日志10月16日开始创建的,开启10天肯定有的了,正常来说开启一天也会看得到记录的,现在是所有搜索引擎都没有记录,你不觉得奇怪吗?是过滤了?还是服务器做了某些设置不让蜘蛛访问?
答:您好,服务器本身,包括机房防火墙,并不会拦截蜘蛛的抓取,请您先暂时调整下网站中的.htaccess和robots.txt规则再查看下,另外,这个问题也可能和wdcp的日志记录方式有关,日志的记录方式和一般的日志格式不太相同。实际的抓取情况,您可以以百度站站平台后面的统计为准,谢谢。