问:请问你们机房没有防护吗 ?
答:您好,
1.我们开启了nginx的日志在/www/wdlinux/nginx/logs下,文件名是access.log。2.目前我们长时间观察了您的服务器带宽,现在是正常的。我们建议您再观察一下,同时出现带宽异常的时候请不要做重启操作。并直接反馈本工单,我们帮您检查一下日志并核实查看具体问题帮您调整。非常感谢您对我司的支持,谢谢!
问:快看,现在带宽已经上来了
这几天每天都是这个时间段
问:快点看看啊 。
答:您好,
网站被模拟百度蜘蛛恶意爬行了,我们可以帮您去屏蔽一下百度蜘蛛。但是屏蔽之后百度收录的话就会有问题,您确认反馈后我们帮您处理一下。非常感谢您对我司的支持,谢谢!
问:关键现在无法确认是否这些地址就是百度蜘蛛啊
答:您好,
日志里面记录的很清楚,所有的useragent都是Baiduspider并且访问量非常大。一直不断的在爬行您的站点,导致带宽异常以及网站访问异常。非常感谢您对我司的支持,谢谢!
问:http://ziyuan.baidu.com/college/articleinfo?id=34
帮我处理吧,参考这个文档。
问:算了,稍等等,我问问百度去。
问:如果长期这样爬行,会是什么原因
每天都是固定这个时间段是百度自己干的?还是别人黑洞吸引蜘蛛过来的?意味着我要升级带宽了吗 ?
答:您好,
从之前的日志记录来看,应该是伪造百度user-agent的cc攻击,不过由于ip地址太多,并且攻击ip地址可能变化,因此无法通过屏蔽ip去防护,您可以将域名做cname解析到服务器的别名地址s.gotocdn.com,然后登陆我司官网,进入服务器管理面板—点击菜单“更多”—百度云加速—开启百度云加速防护,可以在一定程度防止站点受cc攻击;非常感谢您长期对我司的支持!
问:cnname总是报错。
www加上了@加不上
答:您好,
查询您的服务器白名单中的域名zhaochongwu.com添加了邮局mx记录,不带www的域名因此无法再添加cname记录,否则会有冲突;目前从抓包来看,基本上都是访问的带www的域名www.zhaochongwu.com,您可以先将带www的域名做cname解析,并开启百度云加速防护,等待20分钟后再观察下;非常感谢您长期对我司的支持!
问:邮局只有我一个人用,邮局那个去掉应该也不影响吧,用户系统邮件发送不受影响
问:算了就解析这一个吧
答:您好,
好的,目前查询服务器带宽占用在逐步下降的过程中,您可以等待20-30分钟后再观察下;非常感谢您长期对我司的支持!
问:一直在2m左右,还是很大
答:您好,
非常抱歉,百度云加速只能在一定程度防止cc攻击,如果要更强力的防护,可以为您开启强制验证模式,不过开启后,第一次访问站点会提示“ 百度云加速安全检测中”,请您确认是否要开启;2M的带宽占用并不算高的,目前您的服务器配置本身不算高,cc攻击即便不是很大,也容易将服务器资源耗尽;您也可以考虑升级下服务器带宽到3M以上,并升级服务器cpu到4核再观察;非常感谢您长期对我司的支持!
问:我这配置还不高?我这么点用户,这么点流量,你让我搞多大服务器?你们的机房你们就没有硬件防护设备吗?
答:您好,抱歉此机房目前没有硬防服务如果需要硬防可以考虑升级到MY-2集群可以单独开启硬防服务但是硬防服务是收费的,2M带宽配置是较低的正常访问也容易占满。
当前还有一个处理办法是设置拦截Baiduspider 具体设置可参考https://www.west.cn/faq/list.asp?unid=820,非常感谢您长期对我司的支持!
问:能免费给我升级一下带宽我测试观察一下行吗
答:您好,
一秒钟接近30次的请求,这个量是很大的。全部都是模拟百度蜘蛛在访问您的站点,我们建议最好是屏蔽蜘蛛。非常感谢您对我司的支持,谢谢!
问:5. 如何判断是否冒充Baiduspider的抓取?
建议您使用DNS反查方式来确定抓取来源的ip是否属于百度,根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:5.1 在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
$ host 127.0.0.1
127.0.0.1.in-addr.arpa domain name pointer
baiduspider.crawl.baidu.com.
host 127.0.0.1
127.0.0.1.in-addr.arpa domain name pointer
BaiduMobaider.crawl.baidu.jp.
这是百度的官方说明能实现吗
答:您好,
这里只是最基本的,通过伪造user-agent的方式是没有有效的识别方法的,我们建议最好是屏蔽蜘蛛,非常感谢您长期对我司的支持!
问:1.我们开启了nginx的日志在/www/wdlinux/nginx/logs下
这个目录下看看error日志体积最大的那个怎么那么多报错日志。不算今天故障时间段的,今晚的,其他时间段的很多cgi还有别的报错 为什么啊 我就说自从升级了php7一直不稳定
答:1.您好, 错误日志主要是:an upstream response is buffered to a temporary file
访问量过大处理不过来的原因。2.解决办法:首先把主机CPU升级为4核。3.现在看起来还是蜘蛛访问量最大,如不能限制蜘蛛,估计单台服务器承受不了这个访问量。https://www.west.cn/services/cloudhost/slb.asp 建议采用负载均衡,多台服务器来承载即可。