当前位置：首页 → 问答吧 → -->海量数据，每天5T,数据至少保存1年，使用啥数据库来解决呢？

-->海量数据，每天5T,数据至少保存1年，使用啥数据库来解决呢？

时间：2011-12-07

来源：互联网

现在的情况是有200个客户端每天传输到服务器的数据量在5T（网络传输），服务器要使用数据库把数据保存起来，要使用另外的单独的程序来读取分析数据,数据至少保存1年时间，大家推荐使用啥数据库啊,还有服务器需要啥配置呢？

作者: wswwxk 发布时间: 2011-12-07

ORACLE吧。

作者: fredrickhu 发布时间: 2011-12-07

200个客户端每天传输到服务器的数据量在5T（网络传输）

我觉得哪个数据库都接受不了.而且是还是网络传输.

不知道楼上的兄弟,何以认为oracle能承受这么大的数据量?用过的?

作者: dawugui 发布时间: 2011-12-07

感觉你要用一个数据库集群才能搞得定.

作者: qianjin036a 发布时间: 2011-12-07

5T * 365 = 1825 TB

这... 就像小F说的， SQL Server存下来没问题，分析起来可就是个问题了。
这个量级的Oracle也同样不好解决吧。

LZ这个要想性能和可靠性都有保证，需要的设备不再少数啊.

作者: OrchidCat 发布时间: 2011-12-07

要保存起来他的数据文件,还是要把他的数据还原出来!还原在数据库上啊! 如果是保存文件! 啥数据库都行! 指定过上传时间,客户名文件存放的路径! 在弄个作业删除一年前的文件!
如果是要把每天5T的文件还原到数据库上! 貌似啥数据库都不太好使

作者: public0011 发布时间: 2011-12-07

每天5T，算了下
select 5*1024*1024/24/60/60
--60MB/s
24小时分秒不停的写数据，还要60MB/s。
这个还是咨询存储厂商看看要什么存储吧，而且一天5T，一年是1825T，这么大的存储，还没见过呢。

数据库方面，如果用sql server的话，必须分表或分区表了。

作者: perfectaction 发布时间: 2011-12-07

海量存储，需要专业搞存储的吧，服务器戴尔，IBM，联想。。。

作者: ssp2009 发布时间: 2011-12-07

引用 6 楼 perfectaction 的回复:

每天5T，算了下
select 5*1024*1024/24/60/60
--60MB/s
24小时分秒不停的写数据，还要60MB/s。
这个还是咨询存储厂商看看要什么存储吧，而且一天5T，一年是1825T，这么大的存储，还没见过呢。

数据库方面，如果用sql server的话，必须分表或分区表了。

大叔，你们的有5g 没？

作者: Beirut 发布时间: 2011-12-07

5T = 5242880 M
一天,就算平均工作20小时,72000秒(不计高峰值)每秒72.8M,你的网络传输至少要满足这个速度.
目前西数最大容量的STAT硬盘是3T,就算它最大的写入速度为20M/秒,你也得4个硬盘同时一点儿不停地写才行.

作者: qianjin036a 发布时间: 2011-12-07

我做过的最大的数据库的数据文件是120G,后面还有数据源源不断地写进去,到最后弄得实在不愿意搞了,放弃~

作者: qianjin036a 发布时间: 2011-12-07

引用 6 楼 perfectaction 的回复:
每天5T，算了下
select 5*1024*1024/24/60/60
--60MB/s
24小时分秒不停的写数据，还要60MB/s。
这个还是咨询存储厂商看看要什么存储吧，而且一天5T，一年是1825T，这么大的存储，还没见过呢。

数据库方面，如果用sql server的话，必须分表或分区表了。

每个客户端在333k/S,是AD采集的数据，现在有200台，通过光纤传输到服务器，服务器另外还有个软件要分析传输过来的数据,大楷就这样

作者: wswwxk 发布时间: 2011-12-07

5G的当然，最大操作过的也就5T。
不过现在各大网站的策略都是“拆”，这样维护起来要方便的多，所以能拆就得拆了。
5T的数据，备份迁移都存在较大的风险。

作者: perfectaction 发布时间: 2011-12-07

10大屹立不倒的存储厂商
惠普，IBM,微软，思科，Oracle，英特尔，戴尔，EMC，NetApp，Isilon

作者: ssp2009 发布时间: 2011-12-07

建议:
每2人共用一台数据库服务器,建一个有100台服务器的机房,光纤,高速交换机,每台机载8只3T硬盘,用oracle,mssql都行,然后,楼主就可以玩儿一年了,一年后,再来收拾这些东西.

作者: qianjin036a 发布时间: 2011-12-07

哦...
已经有方案了啊!

作者: qianjin036a 发布时间: 2011-12-07

引用 11 楼 wswwxk 的回复:

引用 6 楼 perfectaction 的回复:
每天5T，算了下
select 5*1024*1024/24/60/60
--60MB/s
24小时分秒不停的写数据，还要60MB/s。
这个还是咨询存储厂商看看要什么存储吧，而且一天5T，一年是1825T，这么大的存储，还没见过呢。

数据库方面，如果用sql server的话，必须分表或分区表了。

每个客户端在333k/S,是AD采集的数据，现在有200台，通过光纤传输到服务器，服务器另外还有个软件要分析传输过来的数据,大楷就这样

那你用的数据库要与这个分析软件匹配才行.

作者: qianjin036a 发布时间: 2011-12-07

引用 14 楼 qianjin036a 的回复:
建议:
每2人共用一台数据库服务器,建一个有100台服务器的机房,光纤,高速交换机,每台机载8只3T硬盘,用oracle,mssql都行,然后,楼主就可以玩儿一年了,一年后,再来收拾这些东西.

SQL Server 2005可以吗？

作者: wswwxk 发布时间: 2011-12-07

如果是思科的，可以帮你咨询下，很贵哦

作者: ssp2009 发布时间: 2011-12-07

引用 17 楼 wswwxk 的回复:

引用 14 楼 qianjin036a 的回复:
建议:
每2人共用一台数据库服务器,建一个有100台服务器的机房,光纤,高速交换机,每台机载8只3T硬盘,用oracle,mssql都行,然后,楼主就可以玩儿一年了,一年后,再来收拾这些东西.

SQL Server 2005可以吗？

单就存取数据来说,是没问题的.

作者: qianjin036a 发布时间: 2011-12-07

引用 18 楼 ssp2009 的回复:
如果是思科的，可以帮你咨询下，很贵哦

服务器还没买，这不正在选择方案吗，能解决问题就好

作者: wswwxk 发布时间: 2011-12-07

引用 16 楼 qianjin036a 的回复:
引用 11 楼 wswwxk 的回复:

引用 6 楼 perfectaction 的回复:
每天5T，算了下
select 5*1024*1024/24/60/60
--60MB/s
24小时分秒不停的写数据，还要60MB/s。
这个还是咨询存储厂商看看要什么存储吧，而且一天5T，一年是1825T，这么大的存储，还没见过呢。

数据库方面，如果用sql server的话，必须分……

软件自己开发的，数据库准备选择sql server2005

作者: wswwxk 发布时间: 2011-12-07

选sql server就用08吧

作者: ssp2009 发布时间: 2011-12-07

你的数据格式是什么样的? A/D 转换过来应该就是8位二进制喽?

作者: qianjin036a 发布时间: 2011-12-07

引用 23 楼 qianjin036a 的回复:
你的数据格式是什么样的? A/D 转换过来应该就是8位二进制喽?

BYTE，16进制传输

作者: wswwxk 发布时间: 2011-12-07

用这么大的投资,A/D转换监测200个点,数据还要保存一年,化工?交通?环境监测?貌似都不像哪,你是搞间谍的?

作者: qianjin036a 发布时间: 2011-12-07

引用 24 楼 wswwxk 的回复:

引用 23 楼 qianjin036a 的回复:
你的数据格式是什么样的? A/D 转换过来应该就是8位二进制喽?

BYTE，16进制传输