社交网站 消息处理
时间：2011-12-09
来源：互联网
现处理一社交网站，按Boss的要求，用户数量要达到1KW以上，用户与用户之间要能即时通讯，组件应用、系统消息等所有的消息都要通过消息中心来统一处理。
为此，我们简单进行了一下计算，如果每条数据均存储的话，那么按100个组件给10,000,000用户发消息的话，数据量将会达到1,000,000,000条，还不考虑其他的。
在此基础上，需要对消息中心的数据存储来做考虑。
补充，现在公司内部有如下几种处理方式：
1、将消息统一放在一张表内，通过SQL自带的表分区方式来处理数据；
2、采用按用户分组的方式进行分表的方式进行存储，这样可以保证同一表格处理的数据量不会上亿；（该处理方式所产生的表大约有近十万张表，但每表的存储数据可以控制在1KW以内）；
3、采用：hadoop+hive的方式来处理，但该方案还没有具体研究:(
请问各位：用何种方法处理要好些？还有没有更好的处理方案？
为此，我们简单进行了一下计算，如果每条数据均存储的话，那么按100个组件给10,000,000用户发消息的话，数据量将会达到1,000,000,000条，还不考虑其他的。
在此基础上，需要对消息中心的数据存储来做考虑。
补充，现在公司内部有如下几种处理方式：
1、将消息统一放在一张表内，通过SQL自带的表分区方式来处理数据；
2、采用按用户分组的方式进行分表的方式进行存储，这样可以保证同一表格处理的数据量不会上亿；（该处理方式所产生的表大约有近十万张表，但每表的存储数据可以控制在1KW以内）；
3、采用：hadoop+hive的方式来处理，但该方案还没有具体研究:(
请问各位：用何种方法处理要好些？还有没有更好的处理方案？
作者: cocosoft 发布时间: 2011-12-09
只能说,很牛.
作者: qianjin036a 发布时间: 2011-12-09
用第一种吧。分区表还是不错的。
作者: fredrickhu 发布时间: 2011-12-09
预计数据很多就按第二种
作者: rucypli 发布时间: 2011-12-09
肯定第一种啊，sql 的表分区也可以实现第二种说的按用户分组啊。
作者: mengmou 发布时间: 2011-12-09
如果按照第二种，将一个表拆分为n个表，将来无论是维护还是写查询会麻烦死的！
作者: mengmou 发布时间: 2011-12-09
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读：74
-
如何安装mysql8.0
阅读：31
-
Word快速设置标题样式步骤详解
阅读：28
-
20+道必知必会的Vue面试题（附答案解析）
阅读：37
-
HTML如何制作表单
阅读：22
-
百词斩可以改天数吗？当然可以，4个步骤轻松修改天数！
阅读：31
-
ET文件格式和XLS格式文件之间如何转化？
阅读：24
-
react和vue的区别及优缺点是什么
阅读：121
-
支付宝人脸识别如何关闭?
阅读：21
-
腾讯微云怎么修改照片或视频备份路径?
阅读：28
