全球主机交流论坛

标题: lnmp上运行采集较多数据的php脚本,运行了几十秒就停止了 [打印本页]

作者: GoTop 时间: 2010-5-5 18:48
标题: lnmp上运行采集较多数据的php脚本,运行了几十秒就停止了
lnmp 0.4系统上运行一个采集比较多数据的php脚本,运行了几十秒就停止了

设置什么参数可以让这个脚本运行完啊?

原来是php-fpm.conf文件中,request_terminate_timeout的值是5s,运行这个php脚本的时候会出现502错误

设置成300s后,不会出现502错误

但是运行了一定时间后就停止了.

作者: ABC 时间: 2010-5-5 18:51
在SSH里面运行

作者: Administrator 时间: 2010-5-5 18:56
提示: 作者被禁止或删除内容自动屏蔽

作者: vpsoffer.com 时间: 2010-5-5 19:03
我的采集都是在crontab里面实现的...cli式运行PHP

作者: GoTop 时间: 2010-5-5 19:04
啊,解决了,原来是我忘了设置php.ini里的max_execution_time啦

设置成300就没问题了

作者: shinko 时间: 2010-5-5 19:07
300的话..如果程序有问题...很容易整个网站死了

作者: GoTop 时间: 2010-5-5 19:10

原帖由 shinko 于 2010-5-5 19:07 发表
300的话..如果程序有问题...很容易整个网站死了

哈哈,多谢提醒,那我该小一点,改成180,你看如何?

作者: GoTop 时间: 2010-5-5 19:10

原帖由 vpsoffer.com 于 2010-5-5 19:03 发表
我的采集都是在crontab里面实现的...cli式运行PHP

crontab里不会超时?

cli方式运行就不会超时???

作者: GoTop 时间: 2010-5-5 19:11

原帖由 Administrator 于 2010-5-5 18:56 发表
同上。
最好的办法就是WEB方式管理采集设置。CLI下运行采集进程。不过应该没有这样实现的程序。

这个想法有创意

作者: greensnow 时间: 2010-5-5 19:13
感觉脚本语言不适合搞长时间的采集，
内存总是占得越来越多，
运行一段时间就得重新启动一下，
我的采集都是用c++写的

作者: Administrator 时间: 2010-5-5 19:20
提示: 作者被禁止或删除内容自动屏蔽

作者: GoTop 时间: 2010-5-5 19:21

原帖由 greensnow 于 2010-5-5 19:13 发表
感觉脚本语言不适合搞长时间的采集，
内存总是占得越来越多，
运行一段时间就得重新启动一下，
我的采集都是用c++写的

偶不会用c++啊

c++下网络方面的函数比不上php吧

作者: Administrator 时间: 2010-5-5 19:22
提示: 作者被禁止或删除内容自动屏蔽

作者: GoTop 时间: 2010-5-5 19:22

原帖由 Administrator 于 2010-5-5 19:20 发表

PHP在CLI下运行和WEB下只有几个区别，没有时间限制是其中一个。

哈哈,又学到点新知识,

其他几个区别分别是什么呢?

作者: Administrator 时间: 2010-5-5 19:24
提示: 作者被禁止或删除内容自动屏蔽

作者: GoTop 时间: 2010-5-5 19:33

原帖由 Administrator 于 2010-5-5 19:24 发表

PHP，顾名思义，文本处理是它的强项。采集能用到的函数，PHP的够用了。

php还挺方便的

作者: mslxd 时间: 2010-5-5 19:52
分时段采集，间隔一下，再弄，，，，，曾经放dh上，占了他们N个G空间，，，收到信说，我东西太多。。。。。。。。。。。。。。。。。。。。。。。。。。。嘿嘿

作者: greensnow 时间: 2010-5-5 20:06

原帖由 Administrator 于 2010-5-5 19:22 发表

开发效率和执行效率的问题，呵呵。

我做的是通用的采集系统，之后用lua写单个网站的配置脚本，
采的网站很多的情况下，比用php单个单个去写，开发效率应该不会低。。

作者: GoTop 时间: 2010-5-6 18:27

原帖由 greensnow 于 2010-5-5 20:06 发表

我做的是通用的采集系统，之后用lua写单个网站的配置脚本，
采的网站很多的情况下，比用php单个单个去写，开发效率应该不会低。。

太高深了,不懂

欢迎光临全球主机交流论坛 (https://loc.1226.eu.org/)