sed -n文件达到1G效率低下
时间:2011-05-17
来源:互联网
我有一个日志文件当文件增长到1G时读取就非常慢了
我现在的做法是这样,统计当前日志文件行号,下次执行只从上次行号开始读取至最后一行。
sed -n '10393410,$p' MemoryWriteLog20110517.log
文件小的时候还很快,当超过1G执行完将近一分钟,不知道大家有没有好的优化方法,或者是有更好的方法。
按道理我只是读取上一次执行到现在最后的行,内容最多几十M,没有理由这么慢的、
请教一下各位牛人。
我现在的做法是这样,统计当前日志文件行号,下次执行只从上次行号开始读取至最后一行。
sed -n '10393410,$p' MemoryWriteLog20110517.log
文件小的时候还很快,当超过1G执行完将近一分钟,不知道大家有没有好的优化方法,或者是有更好的方法。
按道理我只是读取上一次执行到现在最后的行,内容最多几十M,没有理由这么慢的、
请教一下各位牛人。
作者: iteeqg 发布时间: 2011-05-17
这两个速度如何?
复制代码
复制代码
- perl -ne 'print if $. >= 10393410' urfile
- awk 'NR>=10393410' urfile
作者: Shell_HAT 发布时间: 2011-05-17
awk 'NR>=10393410' urfile
嗯,的确这个快很多。读取2G的文件仅10秒,谢谢了Shell_HAT 我再优化优化。
看来还是awk效率高。
嗯,的确这个快很多。读取2G的文件仅10秒,谢谢了Shell_HAT 我再优化优化。
看来还是awk效率高。
作者: iteeqg 发布时间: 2011-05-17
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读:74
-
如何安装mysql8.0
阅读:31
-
Word快速设置标题样式步骤详解
阅读:28
-
20+道必知必会的Vue面试题(附答案解析)
阅读:37
-
HTML如何制作表单
阅读:22
-
百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
阅读:31
-
ET文件格式和XLS格式文件之间如何转化?
阅读:24
-
react和vue的区别及优缺点是什么
阅读:121
-
支付宝人脸识别如何关闭?
阅读:21
-
腾讯微云怎么修改照片或视频备份路径?
阅读:28