PHP 海量数据采集该如何采集
时间:2011-10-15
来源:互联网
各位,我有10万个左右的关键字,每天定时搜索他在百度上的排名。
代码就是取数据库中的id,然后去百度获取排名,这个步骤已经完成。 现在碰到的问题:如果采用服务器上cron job (服务器只能提供3个) 定时执行php文件,但是感觉太慢,一个小时只能处理1000个关键字,不能满足我的需求。
我现在是通过在IE浏览器上开多个窗口来采集数据,
seo.******.com/collect.php?nd=1&start=1&end=4000
seo.******.com/collect.php?nd=1&start=4001&end=8000
但是这样是人工的,觉得比较繁琐。
对于每天这么大的数据量,大家有什么高见。
代码就是取数据库中的id,然后去百度获取排名,这个步骤已经完成。 现在碰到的问题:如果采用服务器上cron job (服务器只能提供3个) 定时执行php文件,但是感觉太慢,一个小时只能处理1000个关键字,不能满足我的需求。
我现在是通过在IE浏览器上开多个窗口来采集数据,
seo.******.com/collect.php?nd=1&start=1&end=4000
seo.******.com/collect.php?nd=1&start=4001&end=8000
但是这样是人工的,觉得比较繁琐。
对于每天这么大的数据量,大家有什么高见。
作者: frying 发布时间: 2011-10-15
我有个办法,省时省力:
1.把php 的执行时间设置无限
2.使用傲游浏览器,定时刷新页面。这样找台windows机器就可以了。
1.把php 的执行时间设置无限
2.使用傲游浏览器,定时刷新页面。这样找台windows机器就可以了。
作者: xiaoyangge 发布时间: 2011-10-15
把你需要采集的关键字放进数据库表列,然后用cron或者shell程序,序列化时间进行采集工作。
作者: changjay 发布时间: 2011-10-16
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读:74
-
如何安装mysql8.0
阅读:31
-
Word快速设置标题样式步骤详解
阅读:28
-
20+道必知必会的Vue面试题(附答案解析)
阅读:37
-
HTML如何制作表单
阅读:22
-
百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
阅读:31
-
ET文件格式和XLS格式文件之间如何转化?
阅读:24
-
react和vue的区别及优缺点是什么
阅读:121
-
支付宝人脸识别如何关闭?
阅读:21
-
腾讯微云怎么修改照片或视频备份路径?
阅读:28