首页 | 新闻 | 交流 | 问吧 | 文档 | 手册 | 下载 | 博客

关于远程抓去网页

作者:  时间: 2011-04-15

最近在做一个关于远程抓取网页并获取其中的信息的功能,感觉收获颇多遂写下此篇文章仅供交流:

PostRequest()方法中的两个参数,URL要抓取的网页的网址,postData是传的值,根据传的值获取页面的信息

最后返回一个字符串

1        /// <summary>
2 /// 远程抓取网页
3 /// </summary>
4 /// <param name="url">网页的地址</param>
5 /// <param name="postData">参数</param>
6 /// <returns></returns>
7   public static string PostRequest(string url, string postData)
8 {
9 //制定编码格式
10   var encoding = Encoding.GetEncoding("gb2312");
11 //url的设置
12 var request = (HttpWebRequest)WebRequest.Create(url);
13 //设置请求的方式
14 request.Method = "POST";
15 //设置Content-Type 的值
16 request.ContentType = "application/x-www-form-urlencoded";
17
18 var data = encoding.GetBytes(postData);
19 request.ContentLength = data.Length;
20 var outStream = request.GetRequestStream();
21 outStream.Write(data, 0, data.Length);
22 outStream.Close();
23 var response = (HttpWebResponse)request.GetResponse();
24 var srContent = new System.IO.StreamReader(response.GetResponseStream(), encoding);
25 //获取抓取下来的页面内容
26 var strPage = srContent.ReadToEnd();
27 response.Close();
28 srContent.Close();
29 return strPage;
30 }
这些仅是作为出学者的一点收获,希望各位大虾多多指教

作者: 潜龙勿用-飞龙在天 发表于 2011-04-15 12:37 原文链接

评论: 0 查看评论 发表评论


最新新闻:
· 腾讯游戏发布四款FPS新品 开拓细分市场(2011-04-15 13:25)
· 个人计算机的始源 —— IBM PC(2011-04-15 13:24)
· Flash真的适合做网站应用吗?(2011-04-15 13:15)
· Firefox 5/6/7正式发布日期确定(2011-04-15 13:02)
· 云中书城首批进驻店铺 价格多为纸质书价2折(2011-04-15 12:56)

编辑推荐:Jscex项目现状:UglifyJS解析器及AOT编译器

网站导航:博客园首页  我的园子  新闻  闪存  小组  博问  知识库