python 循环抓网页问题 新手提问
时间:2010-11-01
来源:互联网
http://baike.baidu.com/view/2.html 这个网页我已经能把里面的内容提取了 可是我想继续一直往下提取http://baike.baidu.com/view/3.html 那个html前的数字网上加的网页 怎么办啊?不能让我手动修改网址啊 我的源码如下
import os,sys,datetime
import httplib,urllib,re
from sgmllib import SGMLParser
import types
class Html2txt(SGMLParser):
def reset(self):
self.text=''
self.inbody=True
SGMLParser.reset(self)
def handle_data(self,text):
if self.inbody:
self.text+=text
def start_head(self,text):
self.inbody=False
def end_head(self):
self.inbody=True
parser=Html2txt()
parser.feed(urllib.urlopen("http://baike.baidu.com/view/2.html").read())
parser.close()
#print parser.text.strip()
f=open('shishi.txt','w')
f.write(parser.text.strip())
f.close()
import os,sys,datetime
import httplib,urllib,re
from sgmllib import SGMLParser
import types
class Html2txt(SGMLParser):
def reset(self):
self.text=''
self.inbody=True
SGMLParser.reset(self)
def handle_data(self,text):
if self.inbody:
self.text+=text
def start_head(self,text):
self.inbody=False
def end_head(self):
self.inbody=True
parser=Html2txt()
parser.feed(urllib.urlopen("http://baike.baidu.com/view/2.html").read())
parser.close()
#print parser.text.strip()
f=open('shishi.txt','w')
f.write(parser.text.strip())
f.close()
作者: scrapyshendamrwang 发布时间: 2010-11-01
很简单,把URL放到一个函数里吧。
你试试下面这段代码吧
import urllib
def downloadPage(url):
sock = urllib.urlopen(url)
htmlPage = sock.read()
print htmlPage
for i in ('2','3'):
downloadPage("http://baike.baidu.com/view/"+i+".html")
你试试下面这段代码吧
import urllib
def downloadPage(url):
sock = urllib.urlopen(url)
htmlPage = sock.read()
print htmlPage
for i in ('2','3'):
downloadPage("http://baike.baidu.com/view/"+i+".html")
作者: russell_tao 发布时间: 2010-11-01
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读:74
-
如何安装mysql8.0
阅读:31
-
Word快速设置标题样式步骤详解
阅读:28
-
20+道必知必会的Vue面试题(附答案解析)
阅读:37
-
HTML如何制作表单
阅读:22
-
百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
阅读:31
-
ET文件格式和XLS格式文件之间如何转化?
阅读:24
-
react和vue的区别及优缺点是什么
阅读:121
-
支付宝人脸识别如何关闭?
阅读:21
-
腾讯微云怎么修改照片或视频备份路径?
阅读:28