為了提高性能，幾乎所有互聯(lián)網(wǎng)應(yīng)用都有緩存機(jī)制，其中Memcache是使用非常廣泛的一個(gè)分布式緩存系統(tǒng)。眾所周知，LAMP是非常經(jīng)典的Web架構(gòu)方式，但是隨著Nginx的成熟，越來越多的系統(tǒng)開始轉(zhuǎn)型為LNMP（Linux+Nginx+MySQL+PHP with fpm），這是因?yàn)镹ginx采用基于事件機(jī)制的I/O多路復(fù)用思想設(shè)計(jì)，在高并發(fā)情況下其性能遠(yuǎn)遠(yuǎn)優(yōu)于默認(rèn)采用prefork模式的Apache，另外，相對(duì)于Apache，Nginx更輕量，同時(shí)擁有大量優(yōu)秀的擴(kuò)展模塊，使得在Nginx上可以實(shí)現(xiàn)一些美妙的功能。
傳統(tǒng)上，PHP中使用memcache的方法是使用php-memcache或php-memached擴(kuò)展操作memcache，然而在Nginx上有構(gòu)建更高效緩存機(jī)制的方法，本文將首先介紹這種機(jī)制，然后介紹具體的操作步驟方法，最后將對(duì)這種機(jī)制和傳統(tǒng)的PHP操作memcache的性能進(jìn)行一個(gè)benchmark。
Nginx的Memc和SR Cache模塊
緩存策略的改進(jìn)
我們知道，Nginx的核心設(shè)計(jì)思想是事件驅(qū)動(dòng)的非阻塞I/O。Nginx被設(shè)計(jì)為可以配置I/O多路復(fù)用策略，在Unix系統(tǒng)中傳統(tǒng)的多路復(fù)用是采用select或poll，但是這兩個(gè)方法的問題是隨著監(jiān)聽socket的增加，性能會(huì)下降，因?yàn)樵趌inux內(nèi)核中是采用輪詢的方式判斷是否可以觸發(fā)事件，換句話說算法的復(fù)雜度為O(N)，而在較新的linux內(nèi)核中引入了復(fù)雜度為O(1)的epoll，因此Nginx在Linux下默認(rèn)采用epoll，而在FreeBSD下默認(rèn)采用kqueue作為I/O策略。
即便是這樣，傳統(tǒng)的緩存策略仍可能造成效率低下，因?yàn)閭鹘y(tǒng)上是通過PHP操作memcache的，要執(zhí)行PHP代碼，Nginx就必然要和FastCGI通信，同時(shí)也要進(jìn)入PHP的生命周期，因此SAPI、PHP Core和Zend Engine的一系列邏輯會(huì)被執(zhí)行。更糟糕的是，fpm和PHP可能會(huì)阻塞，因此破壞了Nginx的非阻塞性。下圖展示了在memcache命中時(shí)整個(gè)處理過程。
可以看到，即使memcache命中，還是要進(jìn)入PHP的生命周期。我們知道，目前很多互聯(lián)網(wǎng)應(yīng)用都使用RESTful規(guī)范進(jìn)行設(shè)計(jì)，在RESTful應(yīng)用下，普遍使用uri和查詢參數(shù)作為緩存的key，因此一種更高效的緩存策略是Nginx直接訪問memcache，并用$uri和$args等Nginx內(nèi)置變量設(shè)定緩存key規(guī)則，這樣，當(dāng)緩存命中時(shí)，Nginx可以跳過通過fastcgi和PHP通信的過程，直接從memcache中獲取數(shù)據(jù)并返回。memc-nginx和srcache-nginx正是利用這種策略提高了緩存的效率。下圖是這種高效緩存策略的示意圖（當(dāng)memcache命中時(shí)）。
模塊介紹
memc-nginx和srcache-nginx模塊均為前淘寶工程師agentzh（章亦春）開發(fā)。其中memc模塊擴(kuò)展了Nginx標(biāo)準(zhǔn)的memcache模塊，增加了set、add、delete等memcache命令，而srcache則是為location增加了透明的基于subrequest的緩存層。兩者配合使用，可以實(shí)現(xiàn)上一節(jié)提到的高效緩存機(jī)制。關(guān)于兩個(gè)模塊的詳細(xì)信息可以參考它們Nginx官網(wǎng)的wiki（memc wiki，srcache wiki）頁。
安裝及配置
下面以LNMP環(huán)境介紹如何使用這兩個(gè)模塊構(gòu)建緩存層。
因?yàn)镹ginx并不支持模塊動(dòng)態(tài)加載，所以要安裝新的模塊，必須重新編譯Nginx。首先下載兩個(gè)模塊（memc下載地址，srcache下載地址），另外，為了發(fā)揮出緩存的最大性能，建議將memcache的upstream配置為keep-alive，為了支持upstream的keep-alive需要同時(shí)安裝http-upstream-keepalive-module。
將模塊下載并解壓到合適的目錄，這里我Nginx使用的版本是1.0.4，與相關(guān)模塊一起解壓到了/home/zhangyang/downloads，如下圖所示。
其中紅框框起來的是我們需要用到的模塊。進(jìn)入nginx目錄，執(zhí)行下列命令：
./configure --prefix=/usr/local/nginx --add-module=../memc-nginx-module --add-module=../srcache-nginx-module --add-module=../ngx_http_upstream_keepalive
make
make install
這里我將nginx安裝到/usr/local/nginx下，你可以根據(jù)自己的需要更改安裝路徑，另外，我只列出了本文必要的configure命令，你也可以增加需要的configure選項(xiàng)。
然后需要對(duì)nginx進(jìn)行配置，nginx默認(rèn)主配置文件放在安裝目錄的conf下，例如我的主配置文件為/usr/local/nginx/conf/nginx.conf。
這里我只貼出相關(guān)的配置：
#Memcache服務(wù)upstream
upstream memcache {
server localhost:11211;
keepalive 512 single;
}
server {
listen 80;
server_name localhost;
#memc-nginx-module
location /memc {
internal;
memc_connect_timeout 100ms;
memc_send_timeout 100ms;
memc_read_timeout 100ms;
set $memc_key $query_string;
set $memc_exptime 300;
memc_pass memcache;
}
location / {
root /var/www;
index index.html index.htm index.php;
}
# pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
#
location ~ \.php$ {
charset utf-8;
default_type text/html;
#srcache-nginx-module
set $key $uri$args;
srcache_fetch GET /memc $key;
srcache_store PUT /memc $key;
root /var/www;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
include fastcgi_params;
fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
}
}
下面解釋一下其中幾個(gè)點(diǎn)。
上文說過，memc-nginx是一個(gè)標(biāo)準(zhǔn)的upstream模塊，因此首先需要定義memcache的upstream。這里我在本機(jī)上啟動(dòng)了一個(gè)memcache服務(wù)，端口為默認(rèn)的11211，keepalive指令是http-upsteram-keepalive-module提供的功能，這里我們最大保持512個(gè)不立即關(guān)閉的連接用于提升性能。
下面是為memc-nginx-module配置location，我們配置為/memc，所有請(qǐng)求都通過請(qǐng)求這個(gè)location來操作memcache，memc-nginx-module存取memcache是基于http method語義的，使用http的GET方法表示get、PUT方法表示set、DELETE方法表示delete。這里我們將/memc設(shè)為internal表示只接受內(nèi)部訪問，不接收外部http請(qǐng)求，這是為了安全考慮，當(dāng)然如果需要通過http協(xié)議開放外部訪問，可以去掉internal然后使用deny和allow指令控制權(quán)限。比較重要的是$memc_key這個(gè)變量，它表示以什么作為key，這里我們直接使用Nginx內(nèi)置的$query_string來作為key，$memc_exptime表示緩存失效時(shí)間，以秒記。這里統(tǒng)一設(shè)為300（5分鐘），在實(shí)際應(yīng)用中可以根據(jù)具體情況為不同的內(nèi)容設(shè)置不同的過期時(shí)間。
最后我們?yōu)?#8220;~ \.php$”這個(gè)location配置了緩存，這表示所有以“.php”結(jié)尾的請(qǐng)求都會(huì)結(jié)果被緩存，當(dāng)然這里只是示例需要，實(shí)際中一般不會(huì)這么配，而是為特定需要緩存的location配置緩存。
srcache_fetch表示注冊一個(gè)輸入攔截處理器到location，這個(gè)配置將在location進(jìn)入時(shí)被執(zhí)行；而srcache_store表示注冊一個(gè)輸出攔截器到location，當(dāng)location執(zhí)行完成并輸出時(shí)會(huì)被執(zhí)行。注意srcache模塊實(shí)際可以與任何緩存模塊進(jìn)行配合使用，而不必一定是memc。這里我們以$uri$args作為緩存的key。
經(jīng)過上述配置后，相當(dāng)于對(duì)Nginx增加了如下邏輯：當(dāng)所請(qǐng)求的uri以“.php”結(jié)尾時(shí)，首先到memcache中查詢有沒有以$uri$args為key的數(shù)據(jù)，如果有則直接返回；否則，執(zhí)行l(wèi)ocation的邏輯，如果返回的http狀態(tài)碼為200，則在輸出前以$uri$args為key，將輸入結(jié)果存入memcache。
更多配置
上一節(jié)給出了使用memc和srcache構(gòu)建緩存層的最基本方法，實(shí)際應(yīng)用中可能需要更多靈活的配置，例如為不同的location配置不同的緩存參數(shù)，根據(jù)返回內(nèi)容而不是返回的http狀態(tài)碼確定是否緩存等等。可以有很多的方法實(shí)現(xiàn)這些需求，例如，srcache還支持兩個(gè)指令：srcache_fetch_skip和srcache_fetch_skip，這兩個(gè)指令接受一個(gè)參數(shù)，當(dāng)參數(shù)已定義且非0時(shí)，則進(jìn)行相應(yīng)操作，否則不進(jìn)行。例如，如果配置了srcache_fetch_skip $skip，這條指令，那么只有當(dāng)$skip的值為非0時(shí)，才將結(jié)果緩存，如果配合ngx_lua模塊的set_by_lua指令，則可以實(shí)現(xiàn)復(fù)雜的緩存控制。如：
location /xxxx {
set $key ...;
set_by_lua $skip '
if ngx.var.cookie_foo == "bar" then
return 1
end
return 0
';
srcache_fetch_skip $skip;
srcache_store_skip $skip;
srcache_fetch GET /memc $key;
srcache_store GET /memc $key;
# proxy_pass/fastcgi_pass/...
}
這表示對(duì)/xxxx這個(gè)location的訪問，只有存在cookie “foo”且值為“bar”時(shí)緩存機(jī)制才起作用。關(guān)于ngx_lua的更多內(nèi)容請(qǐng)參考其主頁。
另外，我最近在春哥（章亦春在淘寶的昵稱）的微博上看到他目前正在完善srcache的功能，為其實(shí)現(xiàn)更多RFC2616的緩存行為標(biāo)準(zhǔn)。關(guān)于這個(gè)模塊的最新動(dòng)態(tài)可以關(guān)注其github主頁。
Benchmark
下面對(duì)使用memc和srcache構(gòu)建的緩存機(jī)制進(jìn)行一個(gè)簡單的benchmark，并與使用PHP操作memcache的策略進(jìn)行一個(gè)對(duì)比。為了簡單起見，我們的測試PHP腳本不去訪問I/O，而僅僅是調(diào)用phpinfo函數(shù)輸出PHP相關(guān)信息。
測試一共分三組進(jìn)行：第一組在Nginx和PHP中均不開啟緩存，第二組僅使用PHP memcache緩存，第三組僅使用Nginx memcache緩存。三組都用ab程序去壓，并發(fā)數(shù)為20，請(qǐng)求次數(shù)為10000。
這里的測試環(huán)境是我的一個(gè)虛擬機(jī)，操作系統(tǒng)為Ubuntu10，內(nèi)存512M。Nginx采用epoll，單worker進(jìn)程，memcache最大并發(fā)數(shù)為1024，最大使用內(nèi)存64m。
不開啟緩存
這一組我們不開啟緩存，PHP程序非常簡單：
測試結(jié)果如下：
PHP memcache緩存策略
第二組我們用PHP操作緩存，測試腳本為：
<?php
$memc = new Memcached;
$memc->addServer('localhost', 11211) or die('Connect to memcache server failed!');
$output = $memc->get('my_key');
if(empty($output))
{
ob_start();
phpinfo();
$output = ob_get_contents();
ob_end_clean();
$memc->set('my_key', $output, 300);
}
echo $output;*/
?>
測試結(jié)果如下：
Nginx memcache緩存策略
最后，我們將PHP腳本回歸到不使用緩存的版本，并配置好memc和srcache緩存機(jī)制。測試結(jié)果如下：
結(jié)果對(duì)比分析
為了直觀，我取“每秒處理請(qǐng)求數(shù)”、“平均每個(gè)請(qǐng)求處理時(shí)間”和“吞吐率”作為評(píng)價(jià)指標(biāo)，制作了一張圖表。
我想看到圖表，結(jié)論已毋需我多言。在各項(xiàng)指標(biāo)上使用memc和srcache構(gòu)建的緩存機(jī)制都大大優(yōu)于使用PHP操作memcache。其中每秒處理請(qǐng)求數(shù)（并發(fā)度）和吞吐率都是其9倍左右，而平均個(gè)請(qǐng)求所用時(shí)間僅有傳統(tǒng)策略的1/8。
這里要特別說明一下，這里之所以PHP memcache策略比不使用緩存優(yōu)勢不明顯，是因?yàn)槲覀兊腜HP腳本不涉及I/O操作，如果其中存在如數(shù)據(jù)庫存取，PHP memcache的優(yōu)勢還是有的，但不論如何，Nginx memcache策略在性能上的優(yōu)勢是其無法比擬的。
另外，除了性能優(yōu)勢外，使用這種策略還可以簡化PHP邏輯，因?yàn)榫彺孢@一層都放在Nginx中了，PHP就從緩存操作中解放了出來，因此是一舉多得。
如果你的系統(tǒng)也構(gòu)建在LNMP上（或LAMP）上，不妨使用本文提到的方法替代傳統(tǒng)的緩存策略，盡情享受性能上的提升。
本文轉(zhuǎn)載自 http://www.cnblogs.com/leoo2sk/archive/2011/10/02/nginx-memc-and-srcache.html