当前位置：首页 → 问答吧 → 集群中数据同步请教[仍需请教]

集群中数据同步请教[仍需请教]

时间：2008-07-22

来源：互联网

假如下面例子

client
  |
  |
director
  |
  |
  |------------------------------|
mail1                         mail2

Director 如果作为 RR 轮叫，那么邮件数据可能一部分在 MAIL1 一部分在 MAIL2 中，
我怎么能够把两个电脑 M 1 M2 进行实时同步呢？
我不希望出现第三方的数据存储
否则

client
  |
  |
director
  |
  |
  |------------------------------|
mail1                         mail2
  |------------------------------|
            |
            |
   iscsi  (gnbd )

要多一个电脑和设备，不能够达到廉价的目的

两个电脑能够实时邮件数据吗？？？

[ 本帖最后由 signmem 于 2008-7-23 00:03 编辑 ]

作者: signmem 发布时间: 2008-07-22

可以试试FastDFS，一个开源的轻量级分布式文件存储系统。
官方网址：http://www.csource.org/
google code下载地址：http://code.google.com/p/fastdfs/downloads/list

作者: happy_fish100 发布时间: 2008-07-22

集群文件同步问题，可以试一下csync2，或者tsync，很久之前捣鼓了一阵，感觉还可以。要做到实时同步有点困难，不过可以看一下Linux内核提供的inotify事件触发机制，以及incron（不知是不是这样拼了，这个东东类似cron，不过是由事件而不是时间触发的）。
这几种工具联合起来使用，应该可以解决你的问题的。

作者: micheas.liao 发布时间: 2008-07-22

目前没有free的合适东东.

前几天找过, 只有一个PeerFS的东东. 但是是收费的.

如果IO不是很大量的话, 可以试着用NFS.

作者: q1208c 发布时间: 2008-07-22

我建议还是提供一个共享存储，但是这个共享存储是服务器上的一个比较大的磁盘空间通过ISCSI共享。
而MAIL1和MAIL2是该服务器上的两个虚拟机，这样成本就可以下来。当然这台服务器上的性能要足够强。

作者: jerrywjl 发布时间: 2008-07-22

QUOTE:

原帖由 jerrywjl 于 2008-7-22 22:53 发表
我建议还是提供一个共享存储，但是这个共享存储是服务器上的一个比较大的磁盘空间通过ISCSI共享。
而MAIL1和MAIL2是该服务器上的两个虚拟机，这样成本就可以下来。当然这台服务器上的性能要足够强。

正解.

作者: nntp 发布时间: 2008-07-22

QUOTE:

原帖由 nntp 于 2008-7-22 23:27 发表

正解.

必须用两个电脑。防止硬件有问题啊。。。。硬件有问题就算你的硬件再强，流量再好也白说。

作者: signmem 发布时间: 2008-07-22

QUOTE:

原帖由 happy_fish100 于 2008-7-22 17:07 发表
可以试试FastDFS，一个开源的轻量级分布式文件存储系统。
官方网址：http://www.csource.org/
google code下载地址：http://code.google.com/p/fastdfs/downloads/list

OH 。原来是官方副版主~~
先感谢你们的自由软件，但希望能够在软件的安装配置使用文档及开发文档上花点功夫，增强可读性

^__^ 有时间我给你一个反馈。

[ 本帖最后由 signmem 于 2008-7-23 00:23 编辑 ]

作者: signmem 发布时间: 2008-07-22

QUOTE:

原帖由 micheas.liao 于 2008-7-22 19:23 发表
集群文件同步问题，可以试一下csync2，或者tsync，很久之前捣鼓了一阵，感觉还可以。要做到实时同步有点困难，不过可以看一下Linux内核提供的inotify事件触发机制，以及incron（不知是不是这样拼了，这个东东类 ...

如果不是实时同步没有意义。。
因为在可能需要同时在一个文件上进行追加，不实时会数据丢失

作者: signmem 发布时间: 2008-07-23

QUOTE:

原帖由 q1208c 于 2008-7-22 22:47 发表
目前没有free的合适东东.

前几天找过, 只有一个PeerFS的东东. 但是是收费的.

如果IO不是很大量的话, 可以试着用NFS.

nfs 只能够在一个电脑上写入，怎么样才能够在一个电脑的硬件死掉之后能够切换呢？？？
而且 NFS 中的数据也存在不同步的现象

比如 a 中 /var/spool/mail ----nfs export ---> b /var/spool/mail
A 硬件坏了。。。 b 中的数据也没有了

作者: signmem 发布时间: 2008-07-23

QUOTE:

http://hadoop.apache.org/

这个也是适合的
What Is Hadoop?The Apache Hadoop project develops open-source software for reliable, scalable, distributed computing, including:

Hadoop Core, our flagship sub-project, provides a distributed filesystem (HDFS) and support for the MapReduce distributed computing metaphor.
HBase builds on Hadoop Core to provide a scalable, distributed database.

作者: kns1024wh 发布时间: 2008-07-24

QUOTE:

原帖由 kns1024wh 于 2008-7-24 08:49 发表

http://hadoop.apache.org/

这个也是适合的
What Is Hadoop?The Apache Hadoop project develops open-source software for reliable, scalable, distributed computing, including: