首页 手机软件 手机游戏 单机游戏 资讯文章 专题下载 游戏合集 文章合集 php下载 php教程 电脑软件
+ -
当前位置：首页 → 问答吧 → 这就是所谓的广度优先网页抓取算法，，，

这就是所谓的广度优先网页抓取算法，，，

时间：2011-01-05

来源：互联网

本帖最后由 SeriousCool 于 2011-01-05 02:08 编辑

从一个页面开始，初始化列表，抓到页面里面所有网址就往列表后面加，再从列表最前面取出一个地址，再抓，添加，再取，再抓，再添加，，，还以为是神马高深的东西，，
  1. #!/usr/bin/python
  2. import urllib2
  3. import re
  4. import time

  6. urlsOld = []
  7. timeStart = time.time()


  10. def getURL(url):
  11.     try:
  12.         fp = urllib2.urlopen(url)
  13.     except:
  14.         print 'get url exception'
  15.         return []

  17.     pattern = re.compile("http://money.163.com/[^\>]+.html")
  18.     while 1:
  19.         s = fp.read()
  20.         if not s:
  21.             break
  22.         urls = pattern.findall(s)
  23.     fp.close()

  25.     if not urls:
  26.         return []
  27.     else:
  28.         return urls

  30. def spider(startURL,times):
  31.     global urlsOld
  32.     urls = []
  33.     urls.append(startURL)
  34.     urlFind = 0
  35.     urlFetched = 0
  36.     while True:

  38.         url = urls.pop(0)

  40.         if urlsOld.count(url) == 0:
  41.             urlsOld.append(url)
  42.             print 'fetch url: ', url
  43.             urlFetched += 1
  44.         else:
  45.             print 'already fetched!'
  46.             continue

  48.         urlList = getURL(url)
  49.         for url in urlList:
  50.             if ( urls.count(url) == 0 and urlsOld.count(url) == 0 ):
  51.                 urls.append(url)
  52.                 print 'find url: ', url
  53.                 urlFind += 1
  54.             else:
  55.                 print 'url exists: ', url
  56.         seconds = time.time() - timeStart
  57.         print 'urls: ', len(urls), '; urlFind: ', urlFind, '; urlFetched: ', urlFetched, '; time spent: ', int(seconds), ' seconds'

  59. spider('http://www.163.com',1000)
复制代码

作者: SeriousCool   发布时间: 2011-01-05

明天再给加上多线程，跑上一天，看看能抓多少，

作者: SeriousCool   发布时间: 2011-01-05

相关阅读 更多

热门阅读

热门下载

更多
关于本站 免责申明 联系我们

Copyright 2006-2020 php爱好者(phpfans.net) All Rights Reserved.备案号：湘ICP备2023016114号-2

本站为非盈利性网站，不接受任何广告。本站所有资源均由网友上传，如有侵权，请发邮件至 [email protected] phpfans.net