求asp模拟蜘蛛代码？
时间：2011-07-13
来源：互联网
我要采集一个页面上的数据，但是那个页面使用ajax调取数据的，我使用asp得到的页面上没有我要的内容，但我试着使用一些模拟蜘蛛抓取那个页面，发现有内容。不知道asp有没有模拟蜘蛛的代码？
我已经有抓取代码，现在只剩下这个了
我已经有抓取代码，现在只剩下这个了
作者: wangsdong 发布时间: 2011-07-13
蜘蛛也抓取不到的，你要分析目标页面的ajax，仿冒正常请求get或post得到所需数据
作者: itakeblue 发布时间: 2011-07-13
蜘蛛可以抓取到
所以我想模拟蜘蛛去抓取
所以我想模拟蜘蛛去抓取
作者: wangsdong 发布时间: 2011-07-13
LZ,蜘蛛也是属于采集，他也是抓取不到ajax得到的东西，
如果你用的某某蜘蛛可以抓到，那么，它就是写了一些代码，取出了js里边的URL地址，然后通过采集再取那些内容的。
如果你用的某某蜘蛛可以抓到，那么，它就是写了一些代码，取出了js里边的URL地址，然后通过采集再取那些内容的。
作者: number123456 发布时间: 2011-07-13
我已经测试过了，蜘蛛是可以采集到那个页面上的内容的
因为那个页面对人，和对蜘蛛是使用两个不同的写法的，像百度文库这些，蜘蛛是可以得到里面的内容的。
我现在想了解有没有办法模拟蜘蛛，获取页面上html代码。
现在网上有许多这样的功能，如站长工具类网站，都有这个功能。想知道asp有没有办法实现。
或者是能不能给servervariables("http_user_agent")赋值？
因为那个页面对人，和对蜘蛛是使用两个不同的写法的，像百度文库这些，蜘蛛是可以得到里面的内容的。
我现在想了解有没有办法模拟蜘蛛，获取页面上html代码。
现在网上有许多这样的功能，如站长工具类网站，都有这个功能。想知道asp有没有办法实现。
或者是能不能给servervariables("http_user_agent")赋值？
作者: wangsdong 发布时间: 2011-07-13
我看到一些站长工具网这个页面，也是asp开发的，所以想实现
作者: wangsdong 发布时间: 2011-07-13
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读：74
-
如何安装mysql8.0
阅读：31
-
Word快速设置标题样式步骤详解
阅读：28
-
20+道必知必会的Vue面试题（附答案解析）
阅读：37
-
HTML如何制作表单
阅读：22
-
百词斩可以改天数吗？当然可以，4个步骤轻松修改天数！
阅读：31
-
ET文件格式和XLS格式文件之间如何转化？
阅读：24
-
react和vue的区别及优缺点是什么
阅读：121
-
支付宝人脸识别如何关闭?
阅读：21
-
腾讯微云怎么修改照片或视频备份路径?
阅读：28
