mysql导入海量数据方案
时间:2011-12-06
来源:互联网
             用python编写数据处理程序,处理之后的海量数据保存成临时文件,然后保存至基于mysql的infobright数据库;
有以下问题请教:
1.海量数据用何种方式存数据库比较科学?主要考虑性能,因为数据处理和数据库服务器是分布式的。
2.如果用mysql的load infile...,性能怎样?不知load infile内部实现是怎样的?是读取文件,一条一条插入数据库吗?
            有以下问题请教:
1.海量数据用何种方式存数据库比较科学?主要考虑性能,因为数据处理和数据库服务器是分布式的。
2.如果用mysql的load infile...,性能怎样?不知load infile内部实现是怎样的?是读取文件,一条一条插入数据库吗?
作者: howema 发布时间: 2011-12-06
  引用1.海量数据用何种方式存数据库比较科学?主要考虑性能,因为数据处理和数据库服务器是分布式的。
1) 分区表
2) 直接分表
3) 分表后不同表存储在不同数据库中。需要特别的AGENCY来平衡负载。
  引用2.如果用mysql的load infile...,性能怎样?不知load infile内部实现是怎样的?是读取文件,一条一条插入数据库吗?
LOAD FILE的效率要高于一条一条记录INSERT。
作者: ACMAIN_CHM 发布时间: 2011-12-06
 相关阅读 更多  
      
    热门阅读
-  
 office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
          阅读:74
 -  
 如何安装mysql8.0
          阅读:31
 -  
 Word快速设置标题样式步骤详解
          阅读:28
 -  
 20+道必知必会的Vue面试题(附答案解析)
          阅读:37
 -  
 HTML如何制作表单
          阅读:22
 -  
 百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
          阅读:31
 -  
 ET文件格式和XLS格式文件之间如何转化?
          阅读:24
 -  
 react和vue的区别及优缺点是什么
          阅读:121
 -  
 支付宝人脸识别如何关闭?
          阅读:21
 -  
 腾讯微云怎么修改照片或视频备份路径?
          阅读:28
 















