有没有网站采集方面C#用的成熟框架啊?(我对html不太熟)
时间:2011-12-13
来源:互联网
估计应该是用正则去分析html(不用正则估计会很费劲),功能类似于网站采集软件“火车头”那样的,但是没有那么复杂。
我把我的需求说一下吧,大家帮忙看看有没有成熟的框架可用,如果有我就在框架基础上修改算了,重头做太过复杂感觉。
1.检查网址是否正常 返回200和60为正常 404为故障 301和302为跳转。 左面列出网站地址,右面对应着相应网站的状态
2.取到一些网站的文章标题以及文章内容
PS:取文章中比较复杂,P表示段落,整合到程序中要处理换行。
3.分析百度,比如输入一个关键词,我要得到三部分内容,
1)搜出来的那些普通数据,
2)以及顶端的推广内容
3)右侧的推广内容
我把我的需求说一下吧,大家帮忙看看有没有成熟的框架可用,如果有我就在框架基础上修改算了,重头做太过复杂感觉。
1.检查网址是否正常 返回200和60为正常 404为故障 301和302为跳转。 左面列出网站地址,右面对应着相应网站的状态
2.取到一些网站的文章标题以及文章内容
PS:取文章中比较复杂,P表示段落,整合到程序中要处理换行。
3.分析百度,比如输入一个关键词,我要得到三部分内容,
1)搜出来的那些普通数据,
2)以及顶端的推广内容
3)右侧的推广内容
作者: ximomomoxinei6 发布时间: 2011-12-13
作者: ssp2009 发布时间: 2011-12-13
1 很简单
2 不同的网站规则不一样,没有通用的,需要针对性的编写
3 性质和2一样,只针对百度而已
2 不同的网站规则不一样,没有通用的,需要针对性的编写
3 性质和2一样,只针对百度而已
作者: Sandy945 发布时间: 2011-12-13
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读:74
-
如何安装mysql8.0
阅读:31
-
Word快速设置标题样式步骤详解
阅读:28
-
20+道必知必会的Vue面试题(附答案解析)
阅读:37
-
HTML如何制作表单
阅读:22
-
百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
阅读:31
-
ET文件格式和XLS格式文件之间如何转化?
阅读:24
-
react和vue的区别及优缺点是什么
阅读:121
-
支付宝人脸识别如何关闭?
阅读:21
-
腾讯微云怎么修改照片或视频备份路径?
阅读:28