求助--------有过站长经验的师傅 爬虫频率的合理取值是多少
时间:2011-12-01
来源:互联网
我编写了一个主题爬虫 一切基本就绪 就是一个问题还没有解决
爬取频率 !
我周围没有人当过站长 所以我不知道 对于一个网站来说 怎样的爬取频率算是合理
给别人方便就是给自己方便 所以我不想我的爬虫给人家的网站 带来过分的负荷
本来想参考 百度爬虫 和谷歌爬虫 他们的频率是多少 可是 百度了半天也没有找到 所以 请大家帮个忙
请保守的告诉 1 合理的爬虫的爬取频率
2 百度爬虫的爬取频率
3 谷歌爬虫的爬取频率
4 站长介意的是一天访问数,还是每秒的访问数,还是两个他都介意。 解释如下:
站长介意的是 每秒的访问数 还是一天的访问数总和
为什么这么问 我是想 如果人家规定一天不能超过 1000次的话 那我可以 连续爬取1000后停止 不对每秒的访问次数设限制 这样程序以最快的速度爬取1000次后停止 节约程序运行的时间
如果人家介意的每秒的爬取数 比如说 每秒不能超过10次的话 那我可以设为每秒2次 然后让程序24小时 自己跑去
谢谢!!!
爬取频率 !
我周围没有人当过站长 所以我不知道 对于一个网站来说 怎样的爬取频率算是合理
给别人方便就是给自己方便 所以我不想我的爬虫给人家的网站 带来过分的负荷
本来想参考 百度爬虫 和谷歌爬虫 他们的频率是多少 可是 百度了半天也没有找到 所以 请大家帮个忙
请保守的告诉 1 合理的爬虫的爬取频率
2 百度爬虫的爬取频率
3 谷歌爬虫的爬取频率
4 站长介意的是一天访问数,还是每秒的访问数,还是两个他都介意。 解释如下:
站长介意的是 每秒的访问数 还是一天的访问数总和
为什么这么问 我是想 如果人家规定一天不能超过 1000次的话 那我可以 连续爬取1000后停止 不对每秒的访问次数设限制 这样程序以最快的速度爬取1000次后停止 节约程序运行的时间
如果人家介意的每秒的爬取数 比如说 每秒不能超过10次的话 那我可以设为每秒2次 然后让程序24小时 自己跑去
谢谢!!!
作者: totola147 发布时间: 2011-12-01
象你这样写的爬虫基本上会被网站给屏掉的~~~
作者: chinayuppie 发布时间: 2011-12-01
引用 1 楼 chinayuppie 的回复:
象你这样写的爬虫基本上会被网站给屏掉的~~~
象你这样写的爬虫基本上会被网站给屏掉的~~~
像我怎样写的?? Orz
作者: totola147 发布时间: 2011-12-01
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读:74
-
如何安装mysql8.0
阅读:31
-
Word快速设置标题样式步骤详解
阅读:28
-
20+道必知必会的Vue面试题(附答案解析)
阅读:37
-
HTML如何制作表单
阅读:22
-
百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
阅读:31
-
ET文件格式和XLS格式文件之间如何转化?
阅读:24
-
react和vue的区别及优缺点是什么
阅读:121
-
支付宝人脸识别如何关闭?
阅读:21
-
腾讯微云怎么修改照片或视频备份路径?
阅读:28