CkSpider抓取的页面不包含 exe,jpg,pdf等等结尾的页面,求解决
时间:2011-04-21
来源:互联网
Python code
为什么爬不到exe后缀名,jpg后缀名的页面呢?求解释
import chilkat def spider_main(url): spider = chilkat.CkSpider() spider.put_ConnectTimeout(2) spider.put_ReadTimeout(3) spider.Initialize(url) # Add the 1st URL: spider.AddUnspidered("http://"+url) for i in range(0,1000): success = spider.CrawlNext() if (success == True): aa=spider.lastUrl() print aa i = i + 1 else: if (spider.get_NumUnspidered() == 0): print "No more URLs to spider" break else: print spider.lastErrorText() print i if __name__=="__main__": spider_main('www.yxlink.com') raw_input()
为什么爬不到exe后缀名,jpg后缀名的页面呢?求解释
作者: vivre_1 发布时间: 2011-04-21
爬图片做什么?图片里又没有可以抓取的文字信息。
作者: iambic 发布时间: 2011-04-21
需要一个网站所有的链接。包括jpg,exe,pdf等等等。各种类型的
作者: vivre_1 发布时间: 2011-04-21
引用 1 楼 iambic 的回复:
爬图片做什么?图片里又没有可以抓取的文字信息。
爬图片做什么?图片里又没有可以抓取的文字信息。
beautifulsoup中 对于格式不规范的或者我a标签写错的 不能解析 会报'herf'错误。试过了。
作者: vivre_1 发布时间: 2011-04-21
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读:74
-
如何安装mysql8.0
阅读:31
-
Word快速设置标题样式步骤详解
阅读:28
-
20+道必知必会的Vue面试题(附答案解析)
阅读:37
-
HTML如何制作表单
阅读:22
-
百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
阅读:31
-
ET文件格式和XLS格式文件之间如何转化?
阅读:24
-
react和vue的区别及优缺点是什么
阅读:121
-
支付宝人脸识别如何关闭?
阅读:21
-
腾讯微云怎么修改照片或视频备份路径?
阅读:28