lnmp上运行采集较多数据的php脚本,运行了几十秒就停止了

GoTop · 发表于 2010-5-5 18:48:20

lnmp 0.4系统上运行一个采集比较多数据的php脚本,运行了几十秒就停止了

设置什么参数可以让这个脚本运行完啊?

原来是php-fpm.conf文件中,request_terminate_timeout的值是5s,运行这个php脚本的时候会出现502错误

设置成300s后,不会出现502错误

但是运行了一定时间后就停止了.

GoTop · 发表于 2010-5-6 18:27:37

原帖由 greensnow 于 2010-5-5 20:06 发表

我做的是通用的采集系统，之后用lua写单个网站的配置脚本，
采的网站很多的情况下，比用php单个单个去写，开发效率应该不会低。。

太高深了,不懂

greensnow · 发表于 2010-5-5 20:06:12

原帖由 Administrator 于 2010-5-5 19:22 发表

开发效率和执行效率的问题，呵呵。

我做的是通用的采集系统，之后用lua写单个网站的配置脚本，
采的网站很多的情况下，比用php单个单个去写，开发效率应该不会低。。

mslxd · 发表于 2010-5-5 19:52:05

分时段采集，间隔一下，再弄，，，，，曾经放dh上，占了他们N个G空间，，，收到信说，我东西太多。。。。。。。。。。。。。。。。。。。。。。。。。。。嘿嘿

GoTop · 发表于 2010-5-5 19:33:33

原帖由 Administrator 于 2010-5-5 19:24 发表

PHP，顾名思义，文本处理是它的强项。采集能用到的函数，PHP的够用了。

php还挺方便的

Administrator · 发表于 2010-5-5 19:24:15

提示: 作者被禁止或删除内容自动屏蔽

GoTop · 发表于 2010-5-5 19:22:24

原帖由 Administrator 于 2010-5-5 19:20 发表

PHP在CLI下运行和WEB下只有几个区别，没有时间限制是其中一个。

哈哈,又学到点新知识,

其他几个区别分别是什么呢?

Administrator · 发表于 2010-5-5 19:22:01

提示: 作者被禁止或删除内容自动屏蔽

GoTop · 发表于 2010-5-5 19:21:46

原帖由 greensnow 于 2010-5-5 19:13 发表
感觉脚本语言不适合搞长时间的采集，
内存总是占得越来越多，
运行一段时间就得重新启动一下，
我的采集都是用c++写的

偶不会用c++啊

c++下网络方面的函数比不上php吧

Administrator · 发表于 2010-5-5 19:20:22

提示: 作者被禁止或删除内容自动屏蔽

		自动登录	找回密码
密码			注册

Administrator Administrator 当前离线积分 7423	15^# 发表于 2010-5-5 19:24:15 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
Administrator Administrator 当前离线积分 7423
	回复支持反对举报

Administrator Administrator 当前离线积分 7423	13^# 发表于 2010-5-5 19:22:01 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
Administrator Administrator 当前离线积分 7423
	回复支持反对举报

Administrator Administrator 当前离线积分 7423	11^# 发表于 2010-5-5 19:20:22 \| 只看该作者提示: 作者被禁止或删除内容自动屏蔽
Administrator Administrator 当前离线积分 7423
	回复支持反对举报

[疑问] lnmp上运行采集较多数据的php脚本,运行了几十秒就停止了