服务器配置是否屏蔽了百度蜘蛛抓取?

 

问:

我的网站没有设置robots协议,但是百度检测无法抓取我的网址,是否服务器屏蔽了蜘蛛?

问:我的网站可以正常访问

答:您好,

主机并无限制百度蜘蛛,查看您日志里也有蜘蛛的正常访问记录,当前帮您调整了默认首页顺序,您重新诊断看下是否正常,非常感谢您长期对我司的支持!

问:

这个提示是什么情况啊,我有10个站都是正常的,就这个检测这种问题…

答:您好

您可以在站长平台中模拟抓取一下这个站点,若抓取有异常,请反馈详细报错,我司分析 ,非常感谢您长期对我司的支持!

问:

显示robots封禁,但我的目录下根本没有这个robots.txt文件:https://www.fztccl.com/robots.txt

答:您好

我司在您网站根目录下创建了一个robots.txt文件,并将您站点添加到我们账户中进行检测是正常的,如图,无任何问题,将robots.txt删除后检测是404,请你删除这个站点 重新在百度站长平台中添加验证再试下,非常感谢您长期对我司的支持!

 

问:最近发现很多以 111.206.221.* ip经常访问网站。怀疑是恶意攻击。我已经屏蔽该ip段。但是网站统计还是一直在访问。请问这个空间为什么屏蔽不了这些ip 

答:您好,

测试屏蔽我司本地ip是有效的,通过百度搜索您这个ip段可能是百度蜘蛛,并且您当前是开启了百度云加速的,建议您关闭云加速后再查看下访问记录并查看对方的返回状态,即便是做了屏蔽对方同样可以请求您的站点,只是返回状态是502或者403等,另外您也可以直接通过rebots.txt来屏蔽蜘蛛的抓取,相关设置教程可以参考http://ziyuan.baidu.com/college/courseinfo?id=267&page=12#h2_article_title30 ,非常感谢您长期对我司的支持!

问:即便是做了屏蔽对方同样可以请求您的站点,只是返回状态是502或者403等。如果反返回的状态是502或者403,那么百度统计 是统计不到 访问记录的。但是这段时间 111.206.221.*  和 111.206.222.*  两个ip段 频繁访问网站。绝对不是百度蜘蛛。虚拟空间是你们公司的。你们有义务保证空间的安全。现在我需要完全屏蔽掉111.206.221.*  和 111.206.222.*  两个ip段 请西部数码给出解决方案。因为这段时间明显感觉网站,访问量较少。客户停留时间几乎为0s。我需要保证我网站的安全和正常访问。请务必给出完全屏蔽111.206.221.*  和 111.206.222.*  两个ip段 的方法

问:为什么要强烈要求屏蔽111.206.221.*  和 111.206.222.*  两个ip段。因为这两个北京的IP段经过查询之后并不是百度蜘蛛。而且这两个ip段只访问我推广的两个网站。其他的网站却没有访问。而且近阶段访问量和停留时间明显不正常。

答:您好,

网站的www根目录下web.config中查看您已经屏蔽了111.206.221.*  和 111.206.222.* 这两个IP段的,屏蔽之后访问百度云加速会直接反馈502的报错。作为空间提供商,我们有义务保障空间的正常访问和空间所在服务器安全并且已经给您提供了解决方案。就和手机网络提供商一样,有义务保障手机随时有信号但是不能保证有人给您打骚扰电话。非常感谢您对我司的支持,谢谢!

问:却是显示的是已经屏蔽,但是现在还在访问。绝对不是百度蜘蛛。如果屏蔽ip访问网站返回的是错误页面。百度统计根本统计不到访问的ip。但是现在百度统计到的ip访问结果。

这是我刚刚截图的,就是刚刚这个ip段还在访问。我敢肯定绝对不是百度蜘蛛。请问如果拒绝屏蔽这种恶意ip

答:您好,

web.config里面的屏蔽规则里面少了几个参数,已经帮您添加上去了。input=\”%{HTTP_X_FORWARDED_FOR}&%{REMOTE_ADDR}&%{HTTP_X_Real_IP}\”请现在测试,非常感谢您对我司的支持,谢谢!

问:嗯 好的 非常感谢。那么请帮我看一下 领另一个推广的网站,也是在这个账号下的网站。这个虚拟空间 gouqi 的屏蔽参数对不对。因为这个这两个ip段也经常访问这个空间。谢谢

答:您好,

gouqi 参数也少了,已调整请测试。本次工单已完结,非常感谢您对我司的支持,谢谢!

更多关于云服务器域名注册虚拟主机的问题,请访问西部数码官网:www.west.cn
赞(0)
声明:本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-62778877-8306;邮箱:fanjiao@west.cn。本站原创内容未经允许不得转载,或转载时需注明出处:西部数码知识库 » 服务器配置是否屏蔽了百度蜘蛛抓取?

登录

找回密码

注册