+ -
当前位置:首页 → 问答吧 → mysql导入海量数据方案

mysql导入海量数据方案

时间:2011-12-06

来源:互联网

用python编写数据处理程序,处理之后的海量数据保存成临时文件,然后保存至基于mysql的infobright数据库;
有以下问题请教:
1.海量数据用何种方式存数据库比较科学?主要考虑性能,因为数据处理和数据库服务器是分布式的。
2.如果用mysql的load infile...,性能怎样?不知load infile内部实现是怎样的?是读取文件,一条一条插入数据库吗?

作者: howema   发布时间: 2011-12-06

引用1.海量数据用何种方式存数据库比较科学?主要考虑性能,因为数据处理和数据库服务器是分布式的。


1) 分区表
2) 直接分表
3) 分表后不同表存储在不同数据库中。需要特别的AGENCY来平衡负载。


引用2.如果用mysql的load infile...,性能怎样?不知load infile内部实现是怎样的?是读取文件,一条一条插入数据库吗?

LOAD FILE的效率要高于一条一条记录INSERT。

作者: ACMAIN_CHM   发布时间: 2011-12-06