+ -
当前位置:首页 → 问答吧 → 多进程的内存问题

多进程的内存问题

时间:2010-08-29

来源:互联网

代码是要实现批量的抓取网页,由于数量太多,考虑到多进程,可是运行就提示内存不能为read,该怎么写这种多进程的脚本呢?
还有采用多线程不知能否实现,本人尝试多线程时,线程执行时并没有提交cookies。
  1. use LWP::UserAgent;
  2. use HTTP::Cookies;
  3. use LWP::ConnCache;
  4. use strict;
  5. my $ua=LWP::UserAgent->new;
  6. my $cache=LWP::ConnCache->new();
  7. $ua->conn_cache($cache);
  8. my $user="yongchun_wsu";
  9. my $password="trial01";
  10. my $url="https://portal.biobase-international.com/cgi-bin/portal/login.cgi";

  11. my $cookie=HTTP::Cookies->new(file=>'lwp_cookie.dat',autosave=>1,ignore_discard=>1);
  12. $ua->cookie_jar($cookie);

  13. my $res=$ua->post("$url",[login=>"$user",
  14.                           password=>"$password"]) or die "can't login $!";
  15. print "login successed !\n";

  16. for(my $count=1;$count<10;$count++){
  17. my $c=fork();
  18. if($c){
  19.         print "parent running \n";
  20. }
  21. else
  22. {
  23. &getpage();
  24. exit 0;
  25. }
  26. }

  27. sub getpage {
  28. my $url1="https://portal.biobase-international.com/cgi-bin/build_t/idb/1.0/pageview.cgi?view=MatrixReport&matrix_acc=M0";
  29. for(my $i=1;$i<1357;$i++){
  30.     my $id=sprintf("%04d",$i);
  31.     if(! -e "M0".$id.".html"){
  32.     my $bro=$ua->get($url1.$id);
  33.     if($bro->is_success){
  34.       open(FH,">","M0".$id.".html");
  35.       print FH $bro->content;
  36.       print "page M0$id".".html finished\n";
  37.       close(FH);
  38.       
  39.       }
  40.       else
  41.       {
  42.               print "can't get page $id";
  43.               redo;
  44.       }
  45.       }
  46.     }
  47. }
复制代码

作者: heut2009   发布时间: 2010-08-29

有一个帖子··可以看一下·
http://bbs.chinaunix.net/viewthread.php?tid=1722536

作者: wfnh   发布时间: 2010-08-29