+ -
当前位置:首页 → 问答吧 → sed -n文件达到1G效率低下

sed -n文件达到1G效率低下

时间:2011-05-17

来源:互联网

我有一个日志文件当文件增长到1G时读取就非常慢了

我现在的做法是这样,统计当前日志文件行号,下次执行只从上次行号开始读取至最后一行。

sed -n '10393410,$p' MemoryWriteLog20110517.log




文件小的时候还很快,当超过1G执行完将近一分钟,不知道大家有没有好的优化方法,或者是有更好的方法。

按道理我只是读取上一次执行到现在最后的行,内容最多几十M,没有理由这么慢的、

请教一下各位牛人。

作者: iteeqg   发布时间: 2011-05-17

这两个速度如何?
  1. perl -ne 'print if $. >= 10393410' urfile
复制代码
  1. awk 'NR>=10393410' urfile
复制代码

作者: Shell_HAT   发布时间: 2011-05-17

awk 'NR>=10393410' urfile


嗯,的确这个快很多。读取2G的文件仅10秒,谢谢了Shell_HAT  我再优化优化。

看来还是awk效率高。

作者: iteeqg   发布时间: 2011-05-17