+ -
当前位置:首页 → 问答吧 → PHP 海量数据采集该如何采集

PHP 海量数据采集该如何采集

时间:2011-10-15

来源:互联网

各位,我有10万个左右的关键字,每天定时搜索他在百度上的排名。
代码就是取数据库中的id,然后去百度获取排名,这个步骤已经完成。 现在碰到的问题:如果采用服务器上cron job (服务器只能提供3个) 定时执行php文件,但是感觉太慢,一个小时只能处理1000个关键字,不能满足我的需求。

我现在是通过在IE浏览器上开多个窗口来采集数据,
seo.******.com/collect.php?nd=1&start=1&end=4000
seo.******.com/collect.php?nd=1&start=4001&end=8000
但是这样是人工的,觉得比较繁琐。

对于每天这么大的数据量,大家有什么高见。

作者: frying   发布时间: 2011-10-15

我有个办法,省时省力:
1.把php 的执行时间设置无限
2.使用傲游浏览器,定时刷新页面。这样找台windows机器就可以了。

作者: xiaoyangge   发布时间: 2011-10-15

把你需要采集的关键字放进数据库表列,然后用cron或者shell程序,序列化时间进行采集工作。

作者: changjay   发布时间: 2011-10-16

相关阅读 更多