奇怪问题,这台服务器上的网站百度全部不能抓取!

问:奇怪问题,这台服务器上的网站百度全部不能抓取!

在百度站长平台–抓取诊断–127.0.0.1这台上的网站全部抓取超时或者失败,

但同样的程序在另一台上就可以抓取。

这是什么原因?是不是哪个程序或者什么安全措施给阻止了?,奇怪问题,这台服务器上的网站百度全部不能抓取!

答:您好,1、请提供相关域名以便我司核实,非常感谢您长期对我司的支持!

问:http://www.zgsuqian.cn/

问:http://www.zgmuye.com/

答:您好,1、测试模拟百度可以正在抓取,附图。

2、如果仍无法抓取,请提供百度抓取报错的详细截图反馈我司核实。

非常感谢您长期对我司的支持!

问:

我是在站长平台上弄的。如图。

答:您好,1、请点击抓取失败报错,查看详细抓取失败报错原因,以便我司核实,非常感谢您长期对我司的支持!

问:奇怪问题,这台服务器上的网站百度全部不能抓取!

在百度站长平台–抓取诊断–127.0.0.1这台上的网站全部抓取超时或者失败,

但同样的程序在另一台上就可以抓取。

这是什么原因?是不是哪个程序或者什么安全措施给阻止了?

答:您好,1、请提供相关域名以便我司核实,非常感谢您长期对我司的支持!

问:http://www.zgsuqian.cn/

问:http://www.zgmuye.com/

答:您好,1、测试模拟百度可以正在抓取,附图。

2、如果仍无法抓取,请提供百度抓取报错的详细截图反馈我司核实。

非常感谢您长期对我司的支持!

问:

我是在站长平台上弄的。如图。

答:您好,1、请点击抓取失败报错,查看详细抓取失败报错原因,以便我司核实,非常感谢您长期对我司的支持!

问:之前的工单已经处理过了

麻烦再看看php日志和web日志

我看了,php日志还在报错

pid = /www/wdlinux/phps/70/var/run/php-fpm.pid

error_log = /www/wdlinux/phps/70/var/log/php-fpm.log

log_level = notice

[www]

listen = /tmp/php-70-cgi.sock

listen.backlog = -1

listen.allowed_clients = 127.0.0.1

listen.owner = www

listen.group = www

listen.mode = 0666

user = www

group = www

pm = dynamic

pm.max_children = 512 

pm.start_servers = 32

pm.min_spare_servers = 32

pm.max_spare_servers = 256

pm.max_requests = 102400

request_terminate_timeout = 60

我已经修改了配置 

[04-Nov-2017 19:21:01] ERROR: failed to post process the configuration

[04-Nov-2017 19:21:01] ERROR: FPM initialization failed

[04-Nov-2017 19:28:03] NOTICE: fpm is running, pid 3783

[04-Nov-2017 19:28:04] NOTICE: ready to handle connections

[05-Nov-2017 01:38:45] WARNING: [pool www] child 3790, script '/home/www/weyfans_com/public_html/plugin.php' (request: "GET /plugin.php?id=aljes&rid=20&subrid=331&subsubrid=776&zufangtype=20") execution timed out (77.357685 sec), terminating

[05-Nov-2017 01:38:45] WARNING: [pool www] child 3785, script '/home/www/weyfans_com/public_html/plugin.php' (request: "GET /plugin.php?id=aljes&new=5&rid=16&zufangtype=20") execution timed out (74.816805 sec), terminating

[05-Nov-2017 01:38:45] WARNING: [pool www] child 3790 exited on signal 15 (SIGTERM) after 22241.294328 seconds from start

[05-Nov-2017 01:38:45] NOTICE: [pool www] child 4004 started

[05-Nov-2017 01:38:45] WARNING: [pool www] child 3785 exited on signal 15 (SIGTERM) after 22241.335037 seconds from start

[05-Nov-2017 01:38:45] NOTICE: [pool www] child 4005 started

[05-Nov-2017 01:38:47] WARNING: [pool www] seems busy (you may need to increase pm.start_servers, or pm.min/max_spare_servers), spawning 8 children, there are 11 idle, and 48 total children

[05-Nov-2017 01:55:52] WARNING: [pool www] seems busy (you may need to increase pm.start_servers, or pm.min/max_spare_servers), spawning 8 children, there are 17 idle, and 63 total children

[05-Nov-2017 01:55:53] WARNING: [pool www] seems busy (you may need to increase pm.start_servers, or pm.min/max_spare_servers), spawning 16 children, there are 30 idle, and 71 total children

[05-Nov-2017 03:48:05] WARNING: [pool www] child 4067, script '/home/www/zhaochongwu_com/public_html/portal.php' (request: "GET /portal.php?mod=view&aid=12449&page=1") execution timed out (60.260892 sec), terminating

[05-Nov-2017 03:48:05] WARNING: [pool www] child 3799, script '/home/www/weyfans_com/public_html/plugin.php' (request: "GET /plugin.php?id=aljes&rid=35&subrid=558&subsubrid=766&zufangtype=11") execution timed out (61.059358 sec), terminating

[05-Nov-2017 03:48:05] WARNING: [pool www] child 3799 exited on signal 15 (SIGTERM) after 30001.660352 seconds from start

[05-Nov-2017 03:48:05] NOTICE: [pool www] child 4165 started

[05-Nov-2017 03:48:05] WARNING: [pool www] child 4067 exited on signal 15 (SIGTERM) after 6733.407731 seconds from start

[05-Nov-2017 03:48:05] NOTICE: [pool www] child 4166 started

[05-Nov-2017 12:41:17] WARNING: [pool www] child 3784 exited on signal 7 (SIGBUS) after 61993.034760 seconds from start

[05-Nov-2017 12:41:17] NOTICE: [pool www] child 4531 started

自从我修改完配置,重启完php还在报错

应该不会了啊 

麻烦帮我测试下好吗

百度蜘蛛抓取时不时就报错 

网站首页加载有时候也一直在转圈很慢 

奇怪的很

ngnix应该响应很快的啊,比以前阿帕奇时候没快多少

答:您好,

1.当前查看您服务器上最近一次php报错是说的min_spare_servers(32)和PM。max_spare_servers(1024)不能大于max_children PM(512),查看您上面的配置文件中已经修改,当前重启测试已经没有报错。

2.百度蜘蛛抓取和首页加载有时转圈的问题,需要具体的去核实,当前观察了一段您服务器上网站http://www.zhaochongwu.com/,并没有出现一直加载的情况,并测试在百度站长工具中网站模拟抓取正常,非常感谢您长期对我司的支持!

问:这样抓取的确是正常的

但是我的百度站长后台一直在报504错误 

而且很多帖子都是老旧的以前的帖子 。

问:WARNING不影响吗

答:您好

只要站点能正常访问,系统运行正常,一般WARNING信息是可忽略的,该信息只是表示警告而已 ,非常感谢您长期对我司的支持!

更多关于云服务器域名注册虚拟主机的问题,请访问西部数码官网:www.west.cn
赞(0)
声明:本网站发布的内容(图片、视频和文字)以原创、转载和分享网络内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-62778877-8306;邮箱:fanjiao@west.cn。本站原创内容未经允许不得转载,或转载时需注明出处:西部数码知识库 » 奇怪问题,这台服务器上的网站百度全部不能抓取!

登录

找回密码

注册