Perl 程序 probeDB的提取

首页 | 新闻 | 交流 | 问吧 | 文档 | 手册 | 下载 | 博客

Perl 程序 probeDB的提取

作者:  时间: 2010-12-13
开始做毕设了,导师给的题目是做关于siRNA的东西,具体我也不太清楚,总之,按部就班的来就好了。
第一步,是要将包含probeDB的31815个网页下载下来,这些网页保存在http://www.ncbi.nlm.nih.gov/projects/genome/probe/reports/probereport.cgi?uid=xxx的地址上,而能得到的关于xxx的是一个文件,保存在probe.txt中,具有如下的结构:

1: Probe: Pr000029.1

2: Probe: Pr000030.1

3: Probe: Pr000031.1

4: Probe: Pr000032.1

5: Probe: Pr000033.1

6: Probe: Pr000034.1
而xx是为Pr000029.1等除去0的整数,所以第一步先处理probe.txt得到整数的文件uid.txt
代码如下:
#!/usr/bin/perl
open(RH,"probe.txt") or die "cannot read probe.txt:$!";
my @lines = <RH>; chomp @lines;
close RH or die "cannot close probe.txt:$!";
open(WH,">uid.txt") or die "cannot write uid.txt:$!";
for(my $i = 1; $i < @lines; $i += 2){
    $lines[$i] =~ /.*Pr0*(d+).d/;
    print WH "$1 ";
}

close WH or die "cannot close uid.txt:$!";

注意正则的匹配,经过处理,得到uid.txt。中保存有uid的整数值,下面就要下载该文件了
代码如下:
#!/usr/bin/perl
open(RH,"uid.txt") or die "can not open uid.txt:$!";
my @lines = <RH>; chomp @lines;
close RH or die "cannot close uid.txt:$!";
for(my $i = $#lines; $i > -1; $i --){
    my $url = "http://www.ncbi.nlm.nih.gov/projects/genome/probe/reports/probereport.cgi?uid=$lines[$i]";
    system("wget -O pr_htmls/$i.html '$url'");
}
print "done ";

运行该脚本,将所有网页下载到pr_htmls中,若没有该文件夹,

#mkdir pr_htmls
#perl htmlfetcher.pl
文件下载需要较长时间,完成下载后,开始着手文件的处理,观察文件结构,开始构造正则匹配,来提取需要的信息:
代码如下:

#!/usr/bin/perl
#use strict;
#先把文件读进来,参数1为读取的文件名
my $in = $ARGV[0];
my $id,$seq1,$seq2,$geneid,$pub;
die "没有读入的文件" if(!defined($in));
open(RH,$in) or die "Can not read $in";
my @lines = <RH>;
close RH or die "can not close $in:$!";
#读取第一个字段,Prxxxxx.x
$lines[49] =~ /(Prd+.d)</td>$/;
$id = $1;
for(my $i = 50; $i < @lines; $i ++){
    if($lines[$i] =~ /<td class=Sequence>(.*?)</td>/){
        while($lines[$i] =~ />([ATCG]+)</g){
            $seq1 = $seq1.$1;
        }
        $i ++;
        while($i < @lines && $lines[$i] !~ /<td class=Sequence>(.*?)</td>/){
            $i ++;
        }
        while($lines[$i] =~ />([ATCG]+)</g){
            $seq2 = $seq2.$1;
        }
        $i ++;
        while($i < @lines && $lines[$i] !~ /Probe design is based on/){
            $i ++;
        }
        while($lines[$i] =~ /<a href="(.*?)" class=intextlinks>(.*?)</a>/g){
            $geneid = $geneid.$2."($1)";
        }

        if($lines[$i] =~ /from published data  <a class=intextlinks href="(.*)">((.*?))/){
            $pub = $2."($1)";
        }
        last;
    }
}
print "$id $seq1 $seq2 $geneid $pub ";

保存为probeDBfiller.pl
最后一步,开始提取需要的信息:
#for((i = 0; i < 31835;i++)); do echo $i; perl probeDBfiller.pl pr_htmls/$i.html >>probe.db;done
即将记录保存到probe.db中