自己實現(xiàn)memcached客戶端庫
Kevin Lynx
7.21.2008
What's memcached ?
memcached是一個以key-value的形式緩存數(shù)據(jù)的緩存系統(tǒng)。通過將數(shù)據(jù)緩存到內(nèi)存中,從而提高數(shù)據(jù)的獲取速度。
memcached以key-value的形式來保存數(shù)據(jù),你可以為你每一段數(shù)據(jù)關(guān)聯(lián)一個key,然后以后可以通過這個key獲取
這段數(shù)據(jù)。
memcached是一個庫還是什么?memcached其實是一個單獨的網(wǎng)絡(luò)服務(wù)器程序。它的網(wǎng)絡(luò)底層基于libevent,你可以
將其運行在網(wǎng)絡(luò)中的一臺服務(wù)器上,通過網(wǎng)絡(luò),在遵循memcached的協(xié)議的基礎(chǔ)上與memcached服務(wù)器進(jìn)行通信。
What do we want to wrap ?
我們需要做什么?我們只需要遵循memcached的協(xié)議(參見該文檔),封裝網(wǎng)絡(luò)層的通信,讓上層可以通過調(diào)用諸如
add/get之類的接口即可實現(xiàn)往memcached服務(wù)器緩存數(shù)據(jù),以及取數(shù)據(jù)。上層程序員根本不知道這些數(shù)據(jù)在網(wǎng)絡(luò)
上存在過。
這個東西,也就是memcached官方所謂的client apis。你可以使用現(xiàn)成的客戶端庫,但是你也可以將這種重造輪子
的工作當(dāng)作一次網(wǎng)絡(luò)編程的練習(xí)。it's up to you.:D
Where to start ?
很遺憾,對于windows用戶而言,memcached官方?jīng)]有給出一個可以執(zhí)行或者可以直接F7即可得到可執(zhí)行文件的下載
(如果你是vc用戶)。幸運的是,已經(jīng)有人做了這個轉(zhuǎn)換工作。
你可以從http://jehiah.cz/projects/memcached-win32/這里下載到memcached的windows版本,包括可執(zhí)行程序和
源代碼。
我們直接可以運行memcached.exe來安裝/開啟memcached服務(wù)器,具體步驟在以上頁面有所提及:



然后,你可以在任務(wù)管理器里看到一個'memcached'的進(jìn)程,很占內(nèi)存,因為這是memcached。
So, here we go ...
通過以上步驟運行的memcached,默認(rèn)在11211端口監(jiān)聽(是個TCP連接,可以通過netstat查看)。接下來,我們就可
以connect到該端口上,然后send/recv數(shù)據(jù)了。發(fā)送/接收數(shù)據(jù)只要遵循memcached的協(xié)議格式,一切都很簡單。
使用最簡單的阻塞socket連接memcached服務(wù)器:
















About the protocol
簡單地提一下memcached的協(xié)議。
可以說,memcached的協(xié)議是基于行的協(xié)議,因為無論是客戶端請求還是服務(wù)器端應(yīng)答,都是以"\r\n"作為結(jié)束符。
memcached的協(xié)議將數(shù)據(jù)(send/recv操作的數(shù)據(jù))分為兩種類型:命令和用戶數(shù)據(jù)。
命令用于服務(wù)器和客戶端進(jìn)行交互;而用戶數(shù)據(jù),很顯然,就是用戶想要緩存的數(shù)據(jù)。
關(guān)于用戶數(shù)據(jù),你只需要將其編碼成字節(jié)流(說白了,只要send函數(shù)允許即可),并附帶數(shù)據(jù)結(jié)束標(biāo)志"\r\n"發(fā)送即可。
關(guān)于命令,memcached分為如下幾種命令:存儲數(shù)據(jù)、刪除數(shù)據(jù)、取出數(shù)據(jù)、其他一些獲取信息的命令。其實你換個角度
想想,memcached主要就是將數(shù)據(jù)存儲到內(nèi)存里,所以命令也多不了哪去,基本就停留在add/get/del上。
關(guān)于key,memcached用key來標(biāo)識數(shù)據(jù),每一個key都是一個不超過255個字符的字符串。
到這里,你可以發(fā)現(xiàn)memcached對于數(shù)據(jù)的存儲方式(暴露給上層)多少有點像std::map,如果你愿意,你可以將客戶端
API封裝成map形式。= =#
具體實現(xiàn)
接下來可以看看具體的實現(xiàn)了。
首先看看存儲數(shù)據(jù)命令,存儲數(shù)據(jù)命令有:add/set/replace/append/prepend/cas。存儲命令的格式為:
<command name> <key> <flags> <exptime> <bytes> [noreply]\r\n
具體字段的含義參看protocol.txt文件,這里我對set舉例,如下代碼,阻塞發(fā)送即可:






注意:noreply選項對于有些memcached版本并不被支持,例如我們使用的1.2.2版本。注意官方的changelog即可。
當(dāng)你發(fā)送了存儲命令后,memcached會等待客戶端發(fā)送數(shù)據(jù)塊。所以我們繼續(xù)發(fā)送數(shù)據(jù)塊:


然后,正常的話,memcached服務(wù)器會返回應(yīng)答信息給客戶端。




如果存儲成功,服務(wù)器會返回STORED字符串。memcached所有應(yīng)答信息都是以字符串的形式給出的。所以可以直接printf出來。
關(guān)于其他的操作,我就不在這里列舉例子了。我提供了我封裝的memcached客戶端庫的完整代碼下載,使用的是阻塞socket,
對應(yīng)著memcached的協(xié)議看,很容易看懂的。
It's a story about a programmer...
最近發(fā)覺自己有點極端,要么寫純C的代碼,要么寫滿是template的泛型代碼。
相關(guān)代碼下載
posted on 2008-07-21 15:54 Kevin Lynx 閱讀(6370) 評論(5) 編輯 收藏 引用 所屬分類: network