关于大数据量情况下 python写excel文件的Memory Error问题
时间：2011-03-16
来源：互联网
我使用python将程序数据导入到excel文件中, 在普通数据量的情况下它能很好地工作.
当数据量特别大是, 譬如60w条数据, 程序就会出现异常. python脚本出现Memory Error错误.
对于数据的导出, 我使用的就是普通的循环, 没有分次分块机制.
复制代码
不知道诸如此类的代码如何优化能解决Memory Error问题?
thanks.
当数据量特别大是, 譬如60w条数据, 程序就会出现异常. python脚本出现Memory Error错误.
对于数据的导出, 我使用的就是普通的循环, 没有分次分块机制.
- i = 0
- data_list = pythonlib.get_datalist( )
- for data in data_list:
- j = 0
- col = 0
- for str in data:
- ws.write( i , j , str )
- j = j + 1
- col = col + 1
- i = i + 1
thanks.
作者: sjdev 发布时间: 2011-03-16
回复 sjdev
1. 读数据用yield
2. 写数据后用flush
1. 读数据用yield
2. 写数据后用flush
作者: iamkey9 发布时间: 2011-03-16
QUOTE:
回复 sjdev
1. 读数据用yield
2. 写数据后用flush
iamkey9 发表于 2011-03-16 13:12
1. 读数据用yield
2. 写数据后用flush
iamkey9 发表于 2011-03-16 13:12
我只有遍历写数据的逻辑,应该用不到yield.
我先试一下flush, 谢谢~~
作者: sjdev 发布时间: 2011-03-16
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读：74
-
如何安装mysql8.0
阅读：31
-
Word快速设置标题样式步骤详解
阅读：28
-
20+道必知必会的Vue面试题（附答案解析）
阅读：37
-
HTML如何制作表单
阅读：22
-
百词斩可以改天数吗？当然可以，4个步骤轻松修改天数！
阅读：31
-
ET文件格式和XLS格式文件之间如何转化？
阅读：24
-
react和vue的区别及优缺点是什么
阅读：121
-
支付宝人脸识别如何关闭?
阅读：21
-
腾讯微云怎么修改照片或视频备份路径?
阅读：28
