Python scrapy 在抓取页面url链接时，如何获取死链接 或者重定向链接 的url
时间：2011-11-30
来源：互联网
本人用scrapy框架，基本上可以抓取指定网站，但是由于要做分类分析，需要得到页面上出现死链接的url如何解决。麻烦大虾帮忙。
作者: sqi007 发布时间: 2011-11-30
死链接可以通过检查scrapy.http.Response的一个属性status(正常为200,常见异常为404).
关于重定向,不知这个http://groups.google.com/group/scrapy-users/browse_thread/thread/99c77d798e47db4d是否有用.
关于重定向,不知这个http://groups.google.com/group/scrapy-users/browse_thread/thread/99c77d798e47db4d是否有用.
作者: panghuhu250 发布时间: 2011-11-30
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读：74
-
如何安装mysql8.0
阅读：31
-
Word快速设置标题样式步骤详解
阅读：28
-
20+道必知必会的Vue面试题（附答案解析）
阅读：37
-
HTML如何制作表单
阅读：22
-
百词斩可以改天数吗？当然可以，4个步骤轻松修改天数！
阅读：31
-
ET文件格式和XLS格式文件之间如何转化？
阅读：24
-
react和vue的区别及优缺点是什么
阅读：121
-
支付宝人脸识别如何关闭?
阅读：21
-
腾讯微云怎么修改照片或视频备份路径?
阅读：28
