当前位置：首页 → 问答吧 → 如果抓取各大商场（京东，易讯，新蛋等）的商品价格？

如果抓取各大商场（京东，易讯，新蛋等）的商品价格？

时间：2011-12-19

来源：互联网

有客户要求做比价网站，比价搜索引擎这块。
不知道各位大侠有没有类似的案例或源码。
具体请帮忙指教，或可以PM我详谈。

作者: ferrari 发布时间: 2011-12-19

读取页面源代码，用正则抓取想要的数据

作者: q107770540 发布时间: 2011-12-19

你得模拟各个网站根据你提供的关键词进行搜索，然后在搜索结果页进行内容匹配

首先得知道各个网站搜索的文件地址和提供的关键词

比如京东的是

http://search.360buy.com/Search?keyword=XXX

作者: gaind 发布时间: 2011-12-19

抓取源代码现成的信息，有的话，直接抓取。
源码倒是没有，但是一定是这么做的。

作者: youzelin 发布时间: 2011-12-19

C# code


 //根据url路径获取网页源码
        private string GetWebContent(string sUrl)
        {
            string strResult = "";
            try
            {
                HttpWebRequest request = (HttpWebRequest)WebRequest.Create(sUrl);
                //声明一个HttpWebRequest请求
                request.Timeout = 3000000;
                //设置连接超时时间
                request.Headers.Set("Pragma", "no-cache");
                HttpWebResponse response = (HttpWebResponse)request.GetResponse();
                if (response.ToString() != "")
                {
                    Stream streamReceive = response.GetResponseStream();
                    Encoding encoding = Encoding.GetEncoding("UTF-8");
                    StreamReader streamReader = new StreamReader(streamReceive, encoding);
                    strResult = streamReader.ReadToEnd();
                }
            }
            catch (Exception exp)
            {
                writeLog(exp.Message, DateTime.Now);
                strResult = "";
            }
            return strResult;
        }
//然后根据得到的网页源码 获得数据 就是你说的价格吧 再和你本地的做比较

作者: zyloveyrf 发布时间: 2011-12-19

引用 4 楼 zyloveyrf 的回复:

C# code

//根据url路径获取网页源码
private string GetWebContent(string sUrl)
{
string strResult = "";
try
{
HttpWebRequest request = (HttpW……

楼上的没那么简单，你只是获取整个页面的内容
楼主是需要获取价格，每个网站CSS的定义，页面布局都不一样，得用正则去匹配，这个很麻烦的。。

作者: gaind 发布时间: 2011-12-19

比价格为什么不去易掏，这样的网站也不少了，做这个有前景？

作者: pmars 发布时间: 2011-12-19

么有搞过，，不过LS的意见不错。。。

作者: happy09li 发布时间: 2011-12-19

引用 5 楼 gaind 的回复:
引用 4 楼 zyloveyrf 的回复:

C# code

//根据url路径获取网页源码
private string GetWebContent(string sUrl)
{
string strResult = "";
try
{
HttpWebRequest request = (HttpW……

楼上的没那么简单，你只是获取整个页面的内容
楼主是需要……

你不获取页面源码怎么获取价格？
我只是说先获取页面源码再根据源码去获取价格
每个页面设计都是有一定规律的
ajax网站的还需要去解析才能获取数据
而一般网站是很简单的比如放价格的层的id一般都是XXprice 那么我们只需要获取这个层就行了再缩小范围来得到价格

作者: zyloveyrf 发布时间: 2011-12-19

Regex.

作者: kingdom_0 发布时间: 2011-12-19

类似的项目没有兄弟做过么？
另外京东的价格是做在图片上的。其它也有商城是这么干的。
不知道这方面的分析源码有没有？
高分相送。

作者: ferrari 发布时间: 2011-12-19