一个关于大数据量取数据的问题
时间：2011-10-28
来源：互联网
有这么个问题请教下各位
数据库里面有一个表，数据量有几千万，会实时变化。每个用户会有很多条记录在里面，在不增加数据库交互和资源占用的情况下，怎么能保证我的程序一次能全部把这个表里的该用户对应的记录全部取出来？如果先随机取1个，然后再按这条的用户ID去取数据的话，感觉数据库交互次数太多了。如果一次把数据全部取完，内存占用又挺大的
数据库里面有一个表，数据量有几千万，会实时变化。每个用户会有很多条记录在里面，在不增加数据库交互和资源占用的情况下，怎么能保证我的程序一次能全部把这个表里的该用户对应的记录全部取出来？如果先随机取1个，然后再按这条的用户ID去取数据的话，感觉数据库交互次数太多了。如果一次把数据全部取完，内存占用又挺大的
作者: allenpony 发布时间: 2011-10-28
貌似你在替oracle考虑数据的提取方法。
看来是要开发一个数据库产品。
看来是要开发一个数据库产品。
作者: BenChiM888 发布时间: 2011-10-28
是实际上遇到的问题。乱序取数据实在让人很头痛。先想过按用户order by 后，不处理最后一个用户的数据，这样保证前面的用户数据能取完整。但是数据量大了以后order by 的效率实在是。。。
作者: allenpony 发布时间: 2011-10-28
1、取出你想要的用户数据到临时表。
2、再对临时表中得数据排序。
2、再对临时表中得数据排序。
作者: BenChiM888 发布时间: 2011-10-28
引用 3 楼 benchim888 的回复:
1、取出你想要的用户数据到临时表。
2、再对临时表中得数据排序。
1、取出你想要的用户数据到临时表。
2、再对临时表中得数据排序。
没意义，rownum<20000，一个用户可能有5条记录在这20000里，还有2条不在
作者: allenpony 发布时间: 2011-10-28
两种解决方案
1、分区解决。
2、临时表解决，把数据存入临时中。
1、分区解决。
2、临时表解决，把数据存入临时中。
作者: lzd_83 发布时间: 2011-10-28
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读：74
-
如何安装mysql8.0
阅读：31
-
Word快速设置标题样式步骤详解
阅读：28
-
20+道必知必会的Vue面试题（附答案解析）
阅读：37
-
HTML如何制作表单
阅读：22
-
百词斩可以改天数吗？当然可以，4个步骤轻松修改天数！
阅读：31
-
ET文件格式和XLS格式文件之间如何转化？
阅读：24
-
react和vue的区别及优缺点是什么
阅读：121
-
支付宝人脸识别如何关闭?
阅读：21
-
腾讯微云怎么修改照片或视频备份路径?
阅读：28
