Discuz!的Memcache缓存实现

前言：
在PHP+MySQL架构的站点中，本文重点从MySQL的角度去分析如何使Discuz!论坛（或者类似的PHP+MySQL架构的程序）应对大访问量。同时给出一些使用Memcache去减轻MySQL压力的建议。其中很多数据是个人测试的结果，如有不同意见，敬请留言告之。另外由于个人思维的问题，行文比较跳跃，特此声明！
系统分析：
单纯的从MySQL的角度出发，单台MySQL的数据库负载到每天上亿次的操作（每秒大概1100次MySQL操作，然后乘以86400）应该不是非常困难的事情。按照这个数据也就是说一个单MySQL服务器的论坛来说可以跑到2千万PV是不成问题的，我相信国内绝大部分的论坛都不可能做到每天2千万的PV，但实际情况并不是如此。当论坛PV超过百万的时候一台WEB早已经不堪重负了。
就我手头的一些数据显示，目前的Discuz!论坛的基本服务器架构是前面Squid顶着，后面才是一台DB在撑着。这种架构中，web服务器压力增大可以通过并行增加服务器解决，而MySQL压力却无处释放，在不考虑MySQL官方服务的情况下，我们通过合理的利用Memcache是可以达到减轻MySQL服务器负载的。
可能会有朋友说我们可以对数据表进行分表（注：此处分表是指通过PHP程序去分表，比如pw，dv的分表）处理，但是当前的情况是一台DB服务器已经不能支撑当前的数据处理了，通过PHP对MySQL进行的分表依然不能减轻MySQL的负载。（注：本段文字针对已经成型的系统，如果是独立开发的系统在架构前期就进行数据的同步分区还是不错的。）
还可能有朋友会说利用MySQL的主从构架，如果你提出这个问题，我就很明确的告诉你，回去看看手册吧。在Mysql Master/Slave 模式中，Slave主要是来备份数据的，只有当Master出现故障时，Slave才会接过Master的服务，对外部请求进行处理，直到Master恢复正常。就是说：在Master/Slave中，要么是Master在服务，要么是Slave在服务，不会Master/Slave同时提供服务。使用MySQL主从依然不能有效的降低MySQL的负载。
或许你又会问我为什么不使用MySQL集群（MySQL Cluster），那可是白花花的银子啊，同等金钱的付出下，获得最大的收益才是王道。PS:说句题外话，MySQL手册中将MySQL集群解释为MySQL簇，不习惯。
其实在MySQL5.1中的MySQL分区（MySQL Partition）是个很好的东西，它允许根据可以设置为任意大小的规则，跨文件系统分配单个表的多个部分。实际上，表的不同部分在不同的位置被存储为单独的表。我认为这个才是当前情况下，最积极有效的降低MySQL负载的解决方法之一。但是遗憾的是，这种MySQL分区的方式我个人没有使用过的经历，也不见有相当充分的案例表明它是稳定的或者不稳定的。所以我还在徘徊中。如果你知道，请麻烦告之！有朋友说腾讯是在用MySQL分区，但是遗憾的是我没有得到确切的数据。
好了分析总结了这么多种降低MySQL负载的方式之后，在用户环境需求等特定条件下，我得出结论在当前情况下，缓解Discuz!论坛的MySQL负载比较有效的方法就是使用Memcache！


使用Memcache的理由：
1.Web Server（Lighttpd、Nginx据说都比Apache效率高好多，大家可以试用下）对CPU要求高，对内存要求低；而Memcached Server是对CPU要求低，对内存要求高，所以可以搭配使用。在对前端的Web Server上安装Memcached Server是可行的。
2.金钱金钱金钱，最少的付出，获得最大的收益。
3.简单简单简单，对于一个架构合理的系统来说，添加Memcache的支持可能只是一个批量处理文件的过程
Discuz!使用Memcache
1.在config.inc.php中增加
$memcachehost = '127.0.0.1';
$memcacheport = 11211;
$memcachelife = 60;

2.在include/common.inc.php中
$mem = new Memcache;
$mem->connect($memcachehost, $memcacheport);

3.修改include/db_mysql.class.php中的fetch_array、query这两个方法，并添加query_mysql方法，代码如下：
function fetch_array($query, $result_type = MYSQL_ASSOC) {
return is_resource($query) ? mysql_fetch_array($query, $result_type) : $query[0];
}

function query_memcache($sql, $type = '') {
global $mem,$memcachelife;

$key = md5($sql);
if(!($query = $mem->get($key))) {
$query = $this->query($sql, $type);
while($item  = $this->fetch_array($query)) {
$res[] = $item;
}
$query = $res;
$mem->set($key, $query , 0, $memcachelife);
}
return $query;
}

function query($sql, $type = '') {
global $debug, $discuz_starttime, $sqldebug, $sqlspenttimes;

$func = $type == 'UNBUFFERED' && @function_exists('mysql_unbuffered_query') ?
'mysql_unbuffered_query' : 'mysql_query';
if(!($query = $func($sql, $this->link)) && $type != 'SILENT') {
$this->halt('MySQL Query Error', $sql);
}

if(substr($sql, 0, 6) == 'SELECT') {
echo '<font color="red">Cache SQL</font>:<font color="green">'.$sql.'</font><br /><br />';
} else {
echo '<font color="red">Flash SQL</font>:<font color="green">'.$sql.'</font><br /><br />';
}

$this->querynum++;
return $query;
}

4.将需要使用Memcache缓存的SQL查询的代码由
$db->query(

修改为
$db->query_memcache(

注意并将
while($post = $db->fetch_array($query)) {

修改为
foreach($query as $post) {

没有while的$db->fetch_array可以不用修改。
下面代码有用得着的就拿去：
preg_replace("/while\([$](\w+)\s*\=\s*[$]db->fetch_array\([$]query\)\)/is", "foreach(\$query as \$\\1)", $file);

回头放出个小工具批量替换下就可以了。
在EditPlus中可以这样替换：while\([$](.*) = [$]db->fetch_array\([$]query\)\)替换为foreach($query as $\1)
5.完成了，测试吧！~
参考资料：
对Memcached有疑问的朋友可以参考下列文章：
Linux下的Memcache安装：http://www.ccvita.com/index.php/257.html
Windows下的Memcache安装：http://www.ccvita.com/index.php/258.html
Memcache基础教程：http://www.ccvita.com/index.php/259.html
Discuz!的Memcache缓存实现：http://www.ccvita.com/index.php/261.html
后记
写完之后突然发现天已经要亮了，闷骚了一个晚上。个人的一些总结，欢迎留言探讨！

在Mysql Master/Slave 模式中，Slave主要是来备份数据的，只有当Master出现故障时，Slave才会接过Master的服务，对外部请求进行处理，直到Master恢复正常。就是说：在Master/Slave中，要么是Master在服务，要么是Slave在服务，不会Master/Slave同时提供服务。


根据mysql5 的书上说。

主从是可以可以负载均衡的。  insert update 主要是主  mysql    select  等主要是 从 mysql

  奶奶的书又写错了。

书上这样写是没错的，

而且确实可以读从写主。

但是这样一来对程序就不透明了。

还有其实这个问题用 mysql 簇是可以解决的。不知道为什么楼主舍得在web 服务器上花钱不舍得在 数据库服务器上花钱。

管理节点（1-2个）
SQL节点（1个或者多个）
数据节点（一个或多个，要么1个要么偶数个）
其实3台服务器
就可以做一个 MySQL 集群。 一个管理节点 + 1个SQL 节点 放一台机器上。 2个数据节点。

1台服务器专门出来SQL ，2台服务器专门处理数据。

这样对MySQL 的处理能力的提升已经大大超过了 1 * 3

而且这样对于程序来说没有任何变化，需要变的只是把数据库的存储引擎改成 ndb 。

哦.希望LS能写个详细点的教程.
我一定加精华.

呵呵.

暂时用不上 记号...记号

memcache好东西，最近对它极有兴趣~~谢谢LZ，我也刚知道竟然有memcache for win32~~

顶一个,将来会用上的.

主从模式，当然是从读主改啦。。。。不然压力全在主上，和一台数据库有什么区别 =.=||

不错的东东，
收藏了

好文, 收藏.

Web Server对CPU要求高，对内存要求低；而Memcached Server是对CPU要求低，对内存要求高，所以可以搭配使用。在对前端的Web Server上安装Memcached Server是可行的。
在不支持增加机器的情况下利用前端web服务器的来做memcache，我个人是觉着好好利用了服务器而已

mysql簇确实是解决方案，只是我个人对mysql簇有阴影了的说。。。。

针对不同的sql还需要缓存时间的控制，改造dz很麻烦

留个脚印

see and see

多谢分享

从服务器 既可以 备份  也可以读取。。。。 只要你程序里 更具sql语句 不同拆分连接的 对象就可定义了 似乎也不是什么大问题

对于 #3 楼 有句话：
“而且确实可以读从写主。
但是这样一来对程序就不透明了。”

不知为何说“这样一来对程序就不透明了”

刚看见这帖子

文章写的不错很有参考价值。另外，我想谈谈我的一点看法。主从复制结构初期是来满足MYSQL备份用的，但是我们可以通过来利用一主多从结构来完成一些负载功能，从上可以限制只读的；MYSQL的群集只能提高可用性，对高性能性并不是很理想，另外在维护方面对技术人员要求也比较高；在提一个就是MYSQL-PROXY这个东西，可以实现读写分离，但是MS性能不是太好，做代理到是很好的选择。

把买内存的钱 拿来加 mysql服务器^_^

好东西！收藏了！！！！！！！！

最好参照一下VBB的实现模式，可以支持memcached、apc、file等模式的缓存，那种架构设计比较合理。

恩，挺常用的

怎么和我想的一样啊。md5 SQL语句再memcache.不过现在我还没派上用场。只是用memcache代替了adodb的session持久功能

[ 本帖最后由 angeljyt 于 2008-3-23 08:27 编辑 ]

又要去学一样东西,才能用这个东西,放弃!

感觉挺不错的，学习了，哈！

很强！佩服！～