+ -
当前位置:首页 → 问答吧 → 求助--------有过站长经验的师傅 爬虫频率的合理取值是多少

求助--------有过站长经验的师傅 爬虫频率的合理取值是多少

时间:2011-12-01

来源:互联网

我编写了一个主题爬虫 一切基本就绪 就是一个问题还没有解决  
爬取频率 !
我周围没有人当过站长 所以我不知道 对于一个网站来说 怎样的爬取频率算是合理  
给别人方便就是给自己方便 所以我不想我的爬虫给人家的网站 带来过分的负荷  
本来想参考 百度爬虫 和谷歌爬虫 他们的频率是多少 可是 百度了半天也没有找到 所以 请大家帮个忙

请保守的告诉 1 合理的爬虫的爬取频率  
  2 百度爬虫的爬取频率
  3 谷歌爬虫的爬取频率
  4 站长介意的是一天访问数,还是每秒的访问数,还是两个他都介意。 解释如下:
站长介意的是 每秒的访问数 还是一天的访问数总和  
为什么这么问 我是想 如果人家规定一天不能超过 1000次的话 那我可以 连续爬取1000后停止 不对每秒的访问次数设限制 这样程序以最快的速度爬取1000次后停止 节约程序运行的时间  
如果人家介意的每秒的爬取数 比如说 每秒不能超过10次的话 那我可以设为每秒2次 然后让程序24小时 自己跑去


谢谢!!!

作者: totola147   发布时间: 2011-12-01

象你这样写的爬虫基本上会被网站给屏掉的~~~

作者: chinayuppie   发布时间: 2011-12-01

引用 1 楼 chinayuppie 的回复:
象你这样写的爬虫基本上会被网站给屏掉的~~~


像我怎样写的?? Orz  

作者: totola147   发布时间: 2011-12-01

热门下载

更多