+ -
当前位置:首页 → 问答吧 → 有没有网站采集方面C#用的成熟框架啊?(我对html不太熟)

有没有网站采集方面C#用的成熟框架啊?(我对html不太熟)

时间:2011-12-13

来源:互联网

估计应该是用正则去分析html(不用正则估计会很费劲),功能类似于网站采集软件“火车头”那样的,但是没有那么复杂。

我把我的需求说一下吧,大家帮忙看看有没有成熟的框架可用,如果有我就在框架基础上修改算了,重头做太过复杂感觉。

1.检查网址是否正常 返回200和60为正常 404为故障 301和302为跳转。 左面列出网站地址,右面对应着相应网站的状态

2.取到一些网站的文章标题以及文章内容
PS:取文章中比较复杂,P表示段落,整合到程序中要处理换行。

3.分析百度,比如输入一个关键词,我要得到三部分内容,
  1)搜出来的那些普通数据,
  2)以及顶端的推广内容
  3)右侧的推广内容

作者: ximomomoxinei6   发布时间: 2011-12-13

作者: ssp2009   发布时间: 2011-12-13

1 很简单

2 不同的网站规则不一样,没有通用的,需要针对性的编写

3 性质和2一样,只针对百度而已

作者: Sandy945   发布时间: 2011-12-13