当前位置：首页 → 问答吧 → 读取流效的效率问题

读取流效的效率问题

时间：2011-10-08

来源：互联网

正在做一个解析数据的A端,b端会想A端不停的发数据,A端从流中读出来并且分析并存储到数据库中.
但是我A端的效率很低,在b端20毫秒的一个数据写入流的时候,A端长时间接受就会有数据挤压在流中.

我的代码大致是:
A端一个线程 while(){
str = br.readLine()
//之后str分析,拆解,写入数据库
}

b端就是一个TimerTask进行每个几秒进行一次发送;

A端使用了PreparedStatement来减少写入数据库的时间.

大家还有什么方法能让我的A端读取速度加快不会在流中挤压数据么???

我想一个线程读数据,并且放置到一个队列中,一个线程解析存储.
但是时间长了队列会很大...

作者: csndcsnd01232 发布时间: 2011-10-08

不要沉啊

作者: csndcsnd01232 发布时间: 2011-10-08

要沉啊

作者: csndcsnd01232 发布时间: 2011-10-08

用多线程处理吧，来个数据，起个线程，最好弄个线程池什么管理下。

这些都不主要，要是你的处理速度真的跟不上数据发送的速度，就得调整发送时间了。

作者: gukuitian 发布时间: 2011-10-08

引用 3 楼 gukuitian 的回复:

用多线程处理吧，来个数据，起个线程，最好弄个线程池什么管理下。

这些都不主要，要是你的处理速度真的跟不上数据发送的速度，就得调整发送时间了。

一个数据一个线程的话就不能确定先发的数据会优先的存入数据库了,我有数据库连接池管理数据库连接.

作者: csndcsnd01232 发布时间: 2011-10-08

一定要按顺序存?要是需要时间点的话，可不可以在数据发送的时候就加上

作者: gukuitian 发布时间: 2011-10-09

帮忙顶，学习中~~

作者: liyangyun1986 发布时间: 2011-10-09

br.readLine()这个没遇到换行会一直阻塞
br.read()一个一个字节读吧

作者: bawgiitx 发布时间: 2011-10-09

引用 5 楼 gukuitian 的回复:

一定要按顺序存?要是需要时间点的话，可不可以在数据发送的时候就加上

现在尝试使用多线程的方法读取流.发现效率没有提高啊.
百度只有多线程读取文件流的方法.但是我是不知道具体流有多大的.

作者: csndcsnd01232 发布时间: 2011-10-09

引用 7 楼 bawgiitx 的回复:

br.readLine()这个没遇到换行会一直阻塞
br.read()一个一个字节读吧

没遇到换行会一直阻塞?
什么意思?

作者: csndcsnd01232 发布时间: 2011-10-09

多线程在咱个人电脑上效果是不明显，服务器都多是多核的。

引用 8 楼 csndcsnd01232 的回复:
引用 5 楼 gukuitian 的回复:

一定要按顺序存?要是需要时间点的话，可不可以在数据发送的时候就加上

现在尝试使用多线程的方法读取流.发现效率没有提高啊.
百度只有多线程读取文件流的方法.但是我是不知道具体流有多大的.

作者: gukuitian 发布时间: 2011-10-09

引用 10 楼 gukuitian 的回复:

多线程在咱个人电脑上效果是不明显，服务器都多是多核的。
引用 8 楼 csndcsnd01232 的回复:
引用 5 楼 gukuitian 的回复:

一定要按顺序存?要是需要时间点的话，可不可以在数据发送的时候就加上

现在尝试使用多线程的方法读取流.发现效率没有提高啊.
百度只有多线程读取文件流的方法.但是我是不知道具体流有多大的.

现在纠结于长时间运行的内存占用不断增大的问题了.
多线程的话是一次启动多个线程共享同一个BufferRead进行读取么?
流有挤压之后再启动新的线程?

作者: csndcsnd01232 发布时间: 2011-10-11