+ -
当前位置:首页 → 问答吧 → 关于JDBC读取大量数据

关于JDBC读取大量数据

时间:2011-11-27

来源:互联网

当我用JDBC来从一个数据库读取N条数据(N很大,每条数据也很大,不定长),执行一些操作后,放入另一个库中。该怎么操作才能让效率最高?
存在问题是,每次读取的数据要尽量多,这样效率才会高,但是机器本身的内存是有限的,如果不做限制会超内存。
另外,机器可用的内存不等于,程序可以向JVM申请到的内存。
求高手指教。

作者: jessewizard   发布时间: 2011-11-27

不解:“存在问题是,每次读取的数据要尽量多,这样效率才会高”

根据我导oracle的经验,把一个库的数据导入到另一个库,可以导出到文本(这过程中做要做的处理);导完后,用sqlldr把文本导入到oracle。sqlldr导入还是oracle还是很快的。
仅供参考。

作者: jingluo   发布时间: 2011-11-27

引用 1 楼 jingluo 的回复:

不解:“存在问题是,每次读取的数据要尽量多,这样效率才会高”

根据我导oracle的经验,把一个库的数据导入到另一个库,可以导出到文本(这过程中做要做的处理);导完后,用sqlldr把文本导入到oracle。sqlldr导入还是oracle还是很快的。
仅供参考。

你可能误解了,我所说的问题是后面一句,不做限制会超内存。
请问你导出到文本是怎么做的呢,是一条条导,还是一批批导呢。按批导应该会更效率吧。

作者: jessewizard   发布时间: 2011-11-27

顶一下。求高手指教

作者: jessewizard   发布时间: 2011-11-30

不知道下面的做法是否满足你的要求:

方案一:程序机制

1. 采用线程池来实现对数据进行并发处理,可根据内存的情况进行调整线程池最大并发线程数量
2. 从ResultSet中获取数据只能单线程,老老实实一行一行的取数据吧,每取到一行数据就交给线程池中的一个线程来进行处理
3. 线程池中的线程对数据处理完成后,为了不阻塞后面的请求,可将数据放入队列。然后等待后面的数据处理请求
4. 写入另外一个库的工作也开启一个线程,轮询前面的队列中的数据,可一次从队列中拿一批数据,对这批数据的insert也只能老老实实一条条执行,对这批数据的insert开启事务可提高速度


方案二:采用临时表机制

如果数据量巨大,且两个数据库之间能连通(如建立DBLink),可采用这种方式。将对数据的处理转换为SQL来实现,将处理完的结果放入到临时表中,所有数据处理完成后将整个表的数据插入到目标库。
这种方式省去了JDBC与数据库的交互,所有操作都在数据库服务器内部进行,这样效率比用程序来实现要高很多。

作者: hehecafe   发布时间: 2011-11-30

引用 4 楼 hehecafe 的回复:

不知道下面的做法是否满足你的要求:

方案一:程序机制

1. 采用线程池来实现对数据进行并发处理,可根据内存的情况进行调整线程池最大并发线程数量
2. 从ResultSet中获取数据只能单线程,老老实实一行一行的取数据吧,每取到一行数据就交给线程池中的一个线程来进行处理
3. 线程池中的线程对数据处理完成后,为了不阻塞后面的请求,可将数据放入队列。然后等待后面的数据处理请求
4.……

楼上的方式值的试一下!

作者: lizhongyi188   发布时间: 2011-11-30