如何让awk的关联数组查询的时候不去分配空间记录?
时间:2011-05-11
来源:互联网
代码:
$ awk '{a[$1]}END{for (item in a) ++k; print k}' urfile
关联数组a,仅仅只是对它进行了一些类似查询的操作,比如判断a[i]的值是否为0,甚至如上,什么都不做,仅仅一个a[$1],但是awk还是记录下来了,在对a进行遍历的时候,这些元素即使没插进去,仍然有记录,当然,这可以通过判断数组a里面的值是否为0来判断它是否真的放了值了,但是,当用awk处理的数据量特别大的时候,如何能避免这个开销呢?我的问题总的来说有两个:
1,对于上面的类似的代码,是否真的开辟空间来存储a[$1]的key-value值了?
2,如果真开辟空间来存了,如何避免?
$ awk '{a[$1]}END{for (item in a) ++k; print k}' urfile
关联数组a,仅仅只是对它进行了一些类似查询的操作,比如判断a[i]的值是否为0,甚至如上,什么都不做,仅仅一个a[$1],但是awk还是记录下来了,在对a进行遍历的时候,这些元素即使没插进去,仍然有记录,当然,这可以通过判断数组a里面的值是否为0来判断它是否真的放了值了,但是,当用awk处理的数据量特别大的时候,如何能避免这个开销呢?我的问题总的来说有两个:
1,对于上面的类似的代码,是否真的开辟空间来存储a[$1]的key-value值了?
2,如果真开辟空间来存了,如何避免?
作者: ayw215 发布时间: 2011-05-11
1开辟了
2个人认为无法避免 因为你永远不知道下一个是否是以前出现过的
2个人认为无法避免 因为你永远不知道下一个是否是以前出现过的
作者: lkk2003rty 发布时间: 2011-05-11
本帖最后由 zooyo 于 2011-05-11 10:20 编辑
复制代码
要统计下标个数,这个代码貌似效率高很多。尽量避免循环,那个才是开销大。
- awk '{a[$1]}END{print asorti(a)}' file
作者: zooyo 发布时间: 2011-05-11
QUOTE:
代码:
$ awk '{a[$1]}END{for (item in a) ++k; print k}' urfile
关联数组a,仅仅只是对它进行了一些 ...
ayw215 发表于 2011-05-11 09:17
$ awk '{a[$1]}END{for (item in a) ++k; print k}' urfile
关联数组a,仅仅只是对它进行了一些 ...
ayw215 发表于 2011-05-11 09:17
$ awk '{a[$1]}END{for (item in a) ++k; print k}' urfile
只用到k而以....
$ awk '{++k}END{print k}' urfile
作者: jason680 发布时间: 2011-05-11
QUOTE:
要统计下标个数,这个代码貌似效率高很多。尽量避免循环,那个才是开销大。
zooyo 发表于 2011-05-11 10:18
zooyo 发表于 2011-05-11 10:18
asorti 也要循环吧。。。而且排序复杂度肯定比一次循环要高。。。
作者: lkk2003rty 发布时间: 2011-05-11
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读:74
-
如何安装mysql8.0
阅读:31
-
Word快速设置标题样式步骤详解
阅读:28
-
20+道必知必会的Vue面试题(附答案解析)
阅读:37
-
HTML如何制作表单
阅读:22
-
百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
阅读:31
-
ET文件格式和XLS格式文件之间如何转化?
阅读:24
-
react和vue的区别及优缺点是什么
阅读:121
-
支付宝人脸识别如何关闭?
阅读:21
-
腾讯微云怎么修改照片或视频备份路径?
阅读:28