青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

牽著老婆滿街逛

嚴以律己,寬以待人. 三思而后行.
GMail/GTalk: yanglinbo#google.com;
MSN/Email: tx7do#yahoo.com.cn;
QQ: 3 0 3 3 9 6 9 2 0 .

Memcache緩存與Mongodb數據庫的優勢和應用

轉載自:http://www.jzxue.com/shujuku/shujukuzonghe/201005/19-3807.html

先說說自己對Memcache和Mongodb的一些看法,主要是拋磚引玉了,希望看到大家的意見和補充。

Memcache

Memcache的優勢我覺得總結下來主要體現在:

1) 分布式。可以由10臺擁有4G內存的機器,構成一個40G的內存池,如果覺得還不夠大可以增加機器,這樣一個大的內存池,完全可以把大部分熱點業務數據保存進去,由內存來阻擋大部分對數據庫讀的請求,對數據庫釋放可觀的壓力。

2) 單點。如果Web服務器或App服務器做負載均衡的話,在各自內存中保存的緩存可能各不相同,如果數據需要同步的話,比較麻煩(各自自己過期,還是分發數據同步?),即使數據并不需要同步,用戶也可能因為數據的不一致而產生用戶體驗上的不友好。

3) 性能強。不用懷疑和數據庫相比確實是,根源上還是內存的讀寫和磁盤讀寫效率上幾個數量級的差距。有的時候我們在抱怨數據庫讀寫太差的情況下可以看看磁盤的IO,如果確實是瓶頸的話裝啥強勁的數據庫估計也檔不了,強不強無非是這個數據庫多少充分的利用了內存。

但是也不太建議在任何情況下使用Memcache替代任何緩存:

1) 如果Value特別大,不太適合。因為在默認編譯下Memcache只支持1M的Value(Key的限制到不是最大的問題)。其實從實踐的角度來說也不建議把非常大的數據保存在Memcache中,因為有序列化反序列化的過程,別小看它消耗的CPU。說到這個就要提一下,我一直覺得Memcache適合面向輸出的內容緩存,而不是面向處理的數據緩存,也就是不太適合把大塊數據放進去拿出來處理之后再放進去,而是適合拿出來就直接給輸出了,或是拿出來不需要處理直接用。

2) 如果不允許過期,不太適合。Memcache在默認情況下最大30天過期,而且在內存達到使用限制后它也會回收最少使用的數據。因此,如果我們要把它當作static變量的話就要考慮到這個問題,必須有重新初始化數據的過程。其實應該這么想,既然是緩存就是拿到了存起來,如果沒有必定有一個重新獲取重新緩存的過程,而不是想著它永遠存在。

在使用Memcache的過程中當然也會有一些問題或者說最佳實踐:

1) 清除部分數據的問題。Memcache只是一個Key/Value的池,一個公共汽車誰都可以上。我覺得對于類似的公共資源,如果用的人都按照自己的規則來的話很容易出現問題。因此,最好在Key值的規范上上使用類似命名空間的概念, 每一個用戶都能很明確的知道某一塊功能的Key的范圍,或者說前綴。帶來的好處是我們如果需要清空的話可以根據這個規范找到我們自己的一批Key然后再去清空,而不是清空所有的。當然有人是采用版本升級的概念,老的Key就讓它過去吧,到時候自然會清空,這也是一種辦法。不過Key有規范總是有好處的,在統計上也方便一點。

2) Value的組織問題。也就是說我們存的數據的粒度,比如要保存一個列表,是一個保存在一個鍵值還是統一保存為一個鍵值,這取決于業務。如果粒度很小的話最好是在獲取的時候能批量獲取,在保存的時候也能批量保存。對于跨網絡的調用次數越少越好,可以想一下,如果一個頁面需要輸出100行數據,每一個數據都需要獲取一次,一個頁面進行上百次連接這個性能會不會成問題。

那么Memcache主要用在哪些功能上呢?

其實我覺得平時能想到在內存中做緩存的地方我們都可以考慮下是不是可以去適用分布式緩存,但是主要的用途還是用來在前端或中部擋一下讀的需求來釋放Web服務器App服務器以及DB的壓力。

Mongodb

Mongodb是一款比較優良的非關系型數據庫的文檔型的數據庫。它的優勢主要體現在:

1) 開源。意味著即使我們不去改也可以充分挖掘它,MS SQL除了看那些文檔,誰又知道它內部如何實現。

2) 免費。意味著我們可以在大量垃圾服務器上裝大量的實例,即使它性能不怎么高,也架不住非常多的點啊。

3) 性能高。其它沒比較過,和MS SQL相比,同樣的應用(主要是寫操作)一個撐500用戶就掛了,一個可以撐到2000。在數據量上到百萬之后,即使沒索引,MS SQL的插入性能下降的也一塌糊涂。其實任何事物都有相對性的,在變得復雜變得完善了之后會犧牲一部分的性能,MS SQL體現的是非常強的安全性數據完整性,這點是Mongodb辦不到的。

4) 配置簡單并且靈活。在生產環境中對數據庫配置故障轉移群集和讀寫分離的數據庫復制是很常見的需求,MS SQL的配置繁瑣的步驟還是很恐怖的,而Mongodb可以在五分鐘之內配置自己所需要的故障轉移組,讀寫分離更是只需要一分鐘。靈活性體現在,我們可以配置一個M一個S,兩個M一個S(兩個M寫入的數據會合并到S上供讀取),一個M兩個S(一個M寫入的數據在兩個S上有鏡像),甚至是多個M多個S(理論上可以創建10個M,10個S,我們只需要通過輪詢方式隨便往哪個M上寫,需要讀的時候也可以輪訓任意一個S,當然我們要知道不可能保證在同一時間所有的S都有一致的數據)。那么也可以配置兩個M的對作為一套故障轉移群集,然后這樣的群集配置兩套,再對應兩個S,也就是4個M對應2個S,保證M點具有故障轉移。

5) 使用靈活。在之前的文章中我提到甚至可以通過SQL到JS表達式的轉換讓Mongodb支持SQL語句的查詢,不管怎么說Mongodb在查詢上還是很方便的。

之前也說過了,并不是所有數據庫應用都使用采用Mongodb來替代的,它的主要缺點是:

1) 開源軟件的特點:更新快,應用工具不完善。由于更新快,我們的客戶端需要隨著它的更新來升級才能享受到一些新功能,更新快也意味著很可能在某一階段會缺乏某個重要功能。另外我們知道MS SQL在DEV/DBA/ADM多個維度都提供了非常好的GUI工具對數據庫進行維護。而Mongodb雖然提供了一些程序,但是并不是非常友好。我們的DBA可能會很郁悶,去優化Mongodb的查詢。

2) 操作事務。Mongodb不支持內建的事務(沒有內建事務不意味著完全不能有事務的功能),對于某些應用也就不適合。不過對于大部分的互聯網應用來說并不存在這個問題。

在使用Mongodb的過程中主要遇到下面的問題:

1) 真正的橫向擴展?在使用Memcache的過程中我們已經體會到這種爽了,基本可以無限的增加機器來橫向擴展,因為什么,因為我們是通過客戶端來決定鍵值保存在那個實例上,在獲取的時候也很明確它在哪個實例上,即使是一次性獲取多個鍵值,也是同樣。而對于數據庫來說,我們通過各種各樣的方式進行了Sharding,不說其它的,在查詢的時候我們根據一定的條件獲取批量的數據,怎么樣去處理?比如我們按照用戶ID去分片,而查詢根本不在乎用戶ID,在乎的是用戶的年齡和教育程度,最后按照姓名排序,到哪里去取這些數據?不管是基于客戶端還是基于服務端的Sharding都是非常難做的,并且即使有了自動化的Sharding性能不一定能有保障。最簡單的是盡量按照功能來分,再下去就是歷史數據的概念,真正要做到實時數據分散在各個節點,還是很困難。

2) 多線程,多進程。在寫入速度達不到預期的情況下我們多開幾個線程同時寫,或者多開幾個Mongodb進程(同一機器),也就是多個數據庫實例,然后向不同的實例去寫。這樣是否能提高性能?很遺憾,非常有限,甚至可以說根本不能提高。為什么使用memcache的時候多開線程可以提高寫入速度?那是因為內存數據交換的瓶頸我們沒達到,而對于磁盤來說,IO的瓶頸每秒那么幾十兆的是很容易達到的,一旦達到這個瓶頸了,無論是開多少個進程都無法提高性能了。還好Mongodb使用內存映射,看到內存使用的多了,其實我對它的信心又多了一點(內存占用多了我覺得CPU更容易讓它不閑著),怕就怕某個DB不使用什么內存,看著IO瓶頸到了,內存和CPU還是吃不飽。

Memcache和Mongodb的配合

其實有了Memcache和Mongodb我們甚至可以讓80%以上的應用擺脫傳統關系型數據庫。我能想到它們其實可以互相配合彌補對方的不足:

Memcache適合根據Key保存Value,那么有的時候我們并不知道需要讀取哪些Key怎么辦呢?我在想是不是可以把Mongodb或說數據庫當作一個原始數據,這份原始數據中分為需要查詢的字段(索引字段)和普通的數據字段兩部分,把大量的非查詢字段保存在Memcache中,小粒度保存,在查詢的時候我們查詢數據庫知道要獲取哪些數據,一般查詢頁面也就顯示20-100條吧,然后一次性從Memcache中獲取這些數據。也就是說,Mongodb的讀的壓力主要是索引字段,而數據字段只是在緩存失效的時候才有用,使用Memcache擋住大部分實質數據的查詢。反過來說,如果我們要清空Memcache中的數據也知道要清空哪些Key。

posted on 2012-05-03 01:45 楊粼波 閱讀(2193) 評論(0)  編輯 收藏 引用


只有注冊用戶登錄后才能發表評論。
網站導航: 博客園   IT新聞   BlogJava   博問   Chat2DB   管理


青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            欧美绝品在线观看成人午夜影视| 亚洲午夜黄色| 亚洲激情专区| 亚洲一线二线三线久久久| 欧美一级理论片| 亚洲国产精品久久久久秋霞不卡| 一区二区三区四区精品| 性刺激综合网| 欧美日韩精品综合在线| 精品动漫3d一区二区三区免费| 一二三四社区欧美黄| 久久久夜精品| 亚洲欧美区自拍先锋| 欧美日本在线观看| 亚洲一区二区精品在线| 欧美好骚综合网| 欧美中文字幕在线| 国产精品久久| 亚洲午夜久久久久久尤物 | 国内精品免费在线观看| 亚洲午夜日本在线观看| 亚洲女女女同性video| 国产综合视频在线观看| 亚洲国产精品一区二区第一页| 欧美激情精品久久久久久黑人 | 国产精品久久午夜| 亚洲人成久久| 欧美1级日本1级| 欧美伊人影院| 亚洲美女少妇无套啪啪呻吟| 嫩草成人www欧美| 欧美日韩a区| 久久国内精品自在自线400部| 亚洲一区欧美二区| 国产精品女人网站| 欧美xx69| 国产午夜精品一区二区三区欧美| 香蕉视频成人在线观看| 美女诱惑黄网站一区| 亚洲国产裸拍裸体视频在线观看乱了中文 | 美女露胸一区二区三区| 性久久久久久久久久久久| 亚洲精品国产品国语在线app| 欧美激情久久久久久| 国产精品久久夜| 亚洲高清不卡一区| 欧美成人亚洲成人| 夜夜嗨av一区二区三区四区| 欧美一区二区精品| 亚洲福利视频网| 亚洲国产成人精品女人久久久| 国产精品久久久久久久久久久久 | 在线综合亚洲欧美在线视频| 日韩亚洲欧美成人| 国产精品一区二区三区成人| 久久久噜噜噜久久人人看| 欧美精品在线免费| 欧美国产极速在线| 欧美视频三区在线播放| 欧美一区二区三区四区在线观看 | 亚洲久久成人| 国产精品美女久久久久久2018 | 亚洲一级在线| 欧美精品三级日韩久久| 亚洲免费伊人电影在线观看av| 亚洲午夜成aⅴ人片| 99视频精品全国免费| 久久综合九色| 亚洲欧美一区二区视频| 久久久久.com| 亚洲午夜性刺激影院| 欧美精品一区三区| 亚洲人被黑人高潮完整版| 国产精品美女在线| 亚洲一区二区三区精品视频| 亚洲一区观看| 国产精品免费看| 午夜精品在线视频| 久久久久久91香蕉国产| 欧美日韩国产综合视频在线| 亚洲美女中文字幕| 亚洲一级在线| 国产欧美一区二区三区久久| 亚洲国产91色在线| 一本色道婷婷久久欧美| 欧美三级视频在线播放| 亚洲天堂久久| 久久精品国产精品亚洲综合| 极品日韩久久| 欧美精品三级在线观看| 中国女人久久久| 一级成人国产| 国产精品天美传媒入口| 亚洲欧洲精品一区二区三区| 中国成人亚色综合网站| 欧美福利一区二区| 一区二区三区精品视频| 久久久久久久一区二区| 亚洲国产精品va| 欧美午夜精品| 亚洲精品影院在线观看| 午夜欧美大尺度福利影院在线看| 国产亚洲一本大道中文在线| 亚洲午夜电影网| 久久影院亚洲| 狠狠v欧美v日韩v亚洲ⅴ| 欧美一区二区三区播放老司机| 欧美成人精品不卡视频在线观看| 日韩视频免费观看| 国产欧美日韩综合一区在线播放| 久久只有精品| 亚洲欧美中文字幕| 久久精品欧美日韩精品| 亚洲精品欧美一区二区三区| 国产日韩欧美a| 欧美精品一区三区| 久久精品麻豆| 亚洲天堂第二页| 亚洲高清激情| 久久综合狠狠综合久久激情| 亚洲一级在线观看| 亚洲娇小video精品| 国产一区二区三区久久久| 欧美精品在线一区二区| 久久亚洲一区二区| 亚洲电影激情视频网站| 欧美中文字幕第一页| 禁断一区二区三区在线| 欧美日韩另类在线| 午夜精品短视频| 日韩一区二区久久| 欧美成人有码| 毛片一区二区| av成人老司机| 91久久精品久久国产性色也91 | 久久亚洲图片| 欧美一区二区大片| 亚洲一区三区视频在线观看| 99re6这里只有精品| 亚洲国产小视频在线观看| 美日韩丰满少妇在线观看| 久久精品噜噜噜成人av农村| 午夜在线电影亚洲一区| 亚洲综合日韩在线| 亚洲午夜91| 亚洲欧美日韩综合国产aⅴ| 一本色道久久加勒比88综合| 日韩亚洲欧美成人一区| 国产精品美女www爽爽爽视频| 欧美日韩国产系列| 欧美人在线观看| 欧美日韩亚洲视频一区| 国产精品超碰97尤物18| 欧美午夜精品久久久久久超碰| 欧美日韩精品高清| 欧美伦理影院| 国产精品成av人在线视午夜片 | 欧美亚洲免费| 久久久久国产一区二区三区| 一本大道久久a久久精品综合| 久久人人97超碰精品888| 久久久激情视频| 免费看精品久久片| 亚洲国产精品一区制服丝袜| 亚洲毛片视频| 亚洲一区黄色| 久久久久久久久一区二区| 男男成人高潮片免费网站| 欧美一区二区三区免费视频 | 欧美gay视频| 亚洲精品老司机| 亚洲欧美成人| 久久免费偷拍视频| 欧美日韩国产综合在线| 国产精品一区二区三区观看| 一区福利视频| 中文一区二区| 久久精品视频在线免费观看| 亚洲电影免费| 亚洲欧美另类在线观看| 久热这里只精品99re8久| 欧美日韩亚洲视频一区| 国产综合18久久久久久| 99视频精品全部免费在线| 欧美一区激情| 亚洲人成高清| 欧美资源在线观看| 欧美伦理一区二区| 黄色日韩精品| 亚洲一区在线观看视频| 免费在线看一区| 亚洲先锋成人| 欧美精品18+| 精品动漫3d一区二区三区免费| 一区二区欧美视频| 欧美+日本+国产+在线a∨观看| 亚洲午夜激情网页| 欧美精品18videos性欧美| 国产亚洲毛片在线| 亚洲一区尤物|