最近給自己換了個老板,忙了一段時間,所以有幾個月沒寫博客,今后還是要爭取多寫啊,呵呵。
換來新地方,第一件大的事情就是修改后端架構(gòu)和通信協(xié)議,架構(gòu)也設(shè)計得很普通,因為這邊的業(yè)務(wù)不需要太過復(fù)雜的后端,所以就簡單設(shè)計了一下,基本是參照web的模型,符合我一貫的向web學(xué)習(xí)的思想,弄了個gate管理入口,相當(dāng)于web下的webserver,后端其他服務(wù)器掛在該gate下,相當(dāng)于web模型下的appserver,或者fastcgi模型的fastcgi進程,gate上管理連接、合法性檢測、登錄、加密、壓縮、緩存。Gate和后端通信本來想?yún)⒄?/span>fastcgi協(xié)議,但看了之后覺得fastcgi協(xié)議還是復(fù)雜了,所以就設(shè)計了一個更簡單的協(xié)議,gate和后端server之間可傳遞key:value型數(shù)據(jù)對,value不局限于字符串,可以是任意數(shù)據(jù),這樣基本滿足了當(dāng)前的需求,第一版放上去之后也運行良好,到今天也基本持續(xù)穩(wěn)定運行快一個月了,沒出過什么事情。由于在gate這邊緩沖了job管理,所以后端server升級很方便,隨時可關(guān)閉更新,gate會在窗口時間內(nèi)將未執(zhí)行完成的任務(wù)重新提交,有此功能可放心大膽的升級后端,這個月這樣的工作做了幾次,在架構(gòu)修改之前這樣的事情幾乎是不敢做的,因為一旦升級所有用戶全部斷開連接,而現(xiàn)在用戶則基本無感覺。Gate上的緩存層為后端減少了一些壓力,這個緩存是按照請求的md5為key做的,并根據(jù)協(xié)議配置時效,有此cache后端大多數(shù)服務(wù)可不設(shè)計緩存或降低緩存設(shè)計的復(fù)雜度。Gate上針對敏感數(shù)據(jù)統(tǒng)一做了加密處理,主要是辛辛苦苦整理的數(shù)據(jù)不能輕易讓競爭對手竊去了,呵呵。Gate也做了壓縮,現(xiàn)在是針對>=128長度的包進行壓縮,使用了qlz,壓縮效率還是很不錯的,速度很快。目前gate后端掛接的既有win上的server也有linux上的server,這是一開始就這么規(guī)劃的,現(xiàn)在看來當(dāng)初的目的達到了,混合發(fā)揮各自的優(yōu)勢,有的項目在原有系統(tǒng)上跑得好好的,沒必要重新開發(fā)嘛。
協(xié)議設(shè)計上本來我是計劃二進制混合json格式,以二進制為主,但嘗試了一個協(xié)議之后發(fā)現(xiàn),這邊的小伙子們對直接操縱內(nèi)存普遍技術(shù)不過關(guān),他們大多是從java開始的,后來才學(xué)習(xí)c,對字符串用得很熟練,權(quán)衡之下采用了json為主,混合二進制為輔的方案,這樣修改之后的協(xié)議和他們之前使用的xml類似,就是更小更緊湊一點,使用方法上很類似,從現(xiàn)在的效果看還行,使用json格式為主的協(xié)議當(dāng)然不能跟使用pb之類的相比,解析效率上大約單線程每秒解析20來萬10個obj的對象,速度上不算太快但也不算太慢,對付一秒至多幾萬數(shù)據(jù)包的應(yīng)用來說還是夠的,因為現(xiàn)在cpu計算能力普遍過剩,使用json的另個好處就是增刪字段很方便,各個版本之間不需要太考慮版本的問題,要是全用二進制格式就要麻煩很多了,在使用壓縮之后,目前的json格式協(xié)議比之前的xml協(xié)議減少了2/3的帶寬使用,總體效果還是可以的。使用json調(diào)試也很方便,我提供了一個工具,寫后端的就直接用該工具按照json格式收發(fā)數(shù)據(jù),無需等client開發(fā)好了再去做后端,之后做client也很方便,請求發(fā)過去之后返回來的就是標(biāo)準的json格式數(shù)據(jù),同樣的解析方法,每個不同的應(yīng)用就按照不同的格式處理下即可,和web等模塊交互也很方便,這可算是額外的好處了。
總之,雖然json格式存儲效率和解析效率跟二進制方式還差半個量級到一個量級,但合理使用還是可以的,特別是跟xml相比優(yōu)勢很明顯,權(quán)衡使用吧,當(dāng)然追求極致效率可能還是用pb之類的更合適一些,或者自己設(shè)計tlv格式。