关于JDBC读取大量数据
时间:2011-11-27
来源:互联网
当我用JDBC来从一个数据库读取N条数据(N很大,每条数据也很大,不定长),执行一些操作后,放入另一个库中。该怎么操作才能让效率最高?
存在问题是,每次读取的数据要尽量多,这样效率才会高,但是机器本身的内存是有限的,如果不做限制会超内存。
另外,机器可用的内存不等于,程序可以向JVM申请到的内存。
求高手指教。
存在问题是,每次读取的数据要尽量多,这样效率才会高,但是机器本身的内存是有限的,如果不做限制会超内存。
另外,机器可用的内存不等于,程序可以向JVM申请到的内存。
求高手指教。
作者: jessewizard 发布时间: 2011-11-27
不解:“存在问题是,每次读取的数据要尽量多,这样效率才会高”
根据我导oracle的经验,把一个库的数据导入到另一个库,可以导出到文本(这过程中做要做的处理);导完后,用sqlldr把文本导入到oracle。sqlldr导入还是oracle还是很快的。
仅供参考。
根据我导oracle的经验,把一个库的数据导入到另一个库,可以导出到文本(这过程中做要做的处理);导完后,用sqlldr把文本导入到oracle。sqlldr导入还是oracle还是很快的。
仅供参考。
作者: jingluo 发布时间: 2011-11-27
引用 1 楼 jingluo 的回复:
不解:“存在问题是,每次读取的数据要尽量多,这样效率才会高”
根据我导oracle的经验,把一个库的数据导入到另一个库,可以导出到文本(这过程中做要做的处理);导完后,用sqlldr把文本导入到oracle。sqlldr导入还是oracle还是很快的。
仅供参考。
不解:“存在问题是,每次读取的数据要尽量多,这样效率才会高”
根据我导oracle的经验,把一个库的数据导入到另一个库,可以导出到文本(这过程中做要做的处理);导完后,用sqlldr把文本导入到oracle。sqlldr导入还是oracle还是很快的。
仅供参考。
你可能误解了,我所说的问题是后面一句,不做限制会超内存。
请问你导出到文本是怎么做的呢,是一条条导,还是一批批导呢。按批导应该会更效率吧。
作者: jessewizard 发布时间: 2011-11-27
顶一下。求高手指教
作者: jessewizard 发布时间: 2011-11-30
不知道下面的做法是否满足你的要求:
方案一:程序机制
1. 采用线程池来实现对数据进行并发处理,可根据内存的情况进行调整线程池最大并发线程数量
2. 从ResultSet中获取数据只能单线程,老老实实一行一行的取数据吧,每取到一行数据就交给线程池中的一个线程来进行处理
3. 线程池中的线程对数据处理完成后,为了不阻塞后面的请求,可将数据放入队列。然后等待后面的数据处理请求
4. 写入另外一个库的工作也开启一个线程,轮询前面的队列中的数据,可一次从队列中拿一批数据,对这批数据的insert也只能老老实实一条条执行,对这批数据的insert开启事务可提高速度
方案二:采用临时表机制
如果数据量巨大,且两个数据库之间能连通(如建立DBLink),可采用这种方式。将对数据的处理转换为SQL来实现,将处理完的结果放入到临时表中,所有数据处理完成后将整个表的数据插入到目标库。
这种方式省去了JDBC与数据库的交互,所有操作都在数据库服务器内部进行,这样效率比用程序来实现要高很多。
方案一:程序机制
1. 采用线程池来实现对数据进行并发处理,可根据内存的情况进行调整线程池最大并发线程数量
2. 从ResultSet中获取数据只能单线程,老老实实一行一行的取数据吧,每取到一行数据就交给线程池中的一个线程来进行处理
3. 线程池中的线程对数据处理完成后,为了不阻塞后面的请求,可将数据放入队列。然后等待后面的数据处理请求
4. 写入另外一个库的工作也开启一个线程,轮询前面的队列中的数据,可一次从队列中拿一批数据,对这批数据的insert也只能老老实实一条条执行,对这批数据的insert开启事务可提高速度
方案二:采用临时表机制
如果数据量巨大,且两个数据库之间能连通(如建立DBLink),可采用这种方式。将对数据的处理转换为SQL来实现,将处理完的结果放入到临时表中,所有数据处理完成后将整个表的数据插入到目标库。
这种方式省去了JDBC与数据库的交互,所有操作都在数据库服务器内部进行,这样效率比用程序来实现要高很多。
作者: hehecafe 发布时间: 2011-11-30
引用 4 楼 hehecafe 的回复:
不知道下面的做法是否满足你的要求:
方案一:程序机制
1. 采用线程池来实现对数据进行并发处理,可根据内存的情况进行调整线程池最大并发线程数量
2. 从ResultSet中获取数据只能单线程,老老实实一行一行的取数据吧,每取到一行数据就交给线程池中的一个线程来进行处理
3. 线程池中的线程对数据处理完成后,为了不阻塞后面的请求,可将数据放入队列。然后等待后面的数据处理请求
4.……
不知道下面的做法是否满足你的要求:
方案一:程序机制
1. 采用线程池来实现对数据进行并发处理,可根据内存的情况进行调整线程池最大并发线程数量
2. 从ResultSet中获取数据只能单线程,老老实实一行一行的取数据吧,每取到一行数据就交给线程池中的一个线程来进行处理
3. 线程池中的线程对数据处理完成后,为了不阻塞后面的请求,可将数据放入队列。然后等待后面的数据处理请求
4.……
楼上的方式值的试一下!
作者: lizhongyi188 发布时间: 2011-11-30
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读:74
-
如何安装mysql8.0
阅读:31
-
Word快速设置标题样式步骤详解
阅读:28
-
20+道必知必会的Vue面试题(附答案解析)
阅读:37
-
HTML如何制作表单
阅读:22
-
百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
阅读:31
-
ET文件格式和XLS格式文件之间如何转化?
阅读:24
-
react和vue的区别及优缺点是什么
阅读:121
-
支付宝人脸识别如何关闭?
阅读:21
-
腾讯微云怎么修改照片或视频备份路径?
阅读:28