求助： 很棘手的问题，大文件读取并处理的问题
时间：2011-06-27
来源：互联网
有个文件在/tmp/t.unl下
里面有800万行的数据，每行有8位数字，比如：
00000001
00000002
00000003
00000004
....
这些数字是对应在
/work/0000/00000001
/work/0000/00000002
/work/0000/00000003
/work/0000/00000004
下的文件
求一脚本，使得删除，存在/tmp/t.unl中，并在/work/0000/目录下该文件名的文件。“0000”是“00000004”的前4位
原方案使用
cat /tmp/t.unl |while read tmpf
do
rm the file
done
结果效率非常低，要跑几个小时，怎么才能提高效率呢？
里面有800万行的数据，每行有8位数字，比如：
00000001
00000002
00000003
00000004
....
这些数字是对应在
/work/0000/00000001
/work/0000/00000002
/work/0000/00000003
/work/0000/00000004
下的文件
求一脚本，使得删除，存在/tmp/t.unl中，并在/work/0000/目录下该文件名的文件。“0000”是“00000004”的前4位
原方案使用
cat /tmp/t.unl |while read tmpf
do
rm the file
done
结果效率非常低，要跑几个小时，怎么才能提高效率呢？
作者: zhizhiping 发布时间: 2011-06-27
关注下
作者: 267020090 发布时间: 2011-06-27
for 循环估计也一样吧
作者: 267020090 发布时间: 2011-06-27
一样
作者: zhizhiping 发布时间: 2011-06-27
跑并发吧
作者: 267020090 发布时间: 2011-06-27
分成几个片段 分批跑把
作者: 267020090 发布时间: 2011-06-27
还有其他办法吗？
作者: zhizhiping 发布时间: 2011-06-27
100W为单位多好啊
作者: 267020090 发布时间: 2011-06-27
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读：74
-
如何安装mysql8.0
阅读：31
-
Word快速设置标题样式步骤详解
阅读：28
-
20+道必知必会的Vue面试题（附答案解析）
阅读：37
-
HTML如何制作表单
阅读：22
-
百词斩可以改天数吗？当然可以，4个步骤轻松修改天数！
阅读：31
-
ET文件格式和XLS格式文件之间如何转化？
阅读：24
-
react和vue的区别及优缺点是什么
阅读：121
-
支付宝人脸识别如何关闭?
阅读：21
-
腾讯微云怎么修改照片或视频备份路径?
阅读：28
