導(dǎo)讀:Kristóf Kovács 是一位軟件架構(gòu)師和咨詢顧問,他最近發(fā)布了一片對(duì)比各種類型nosql數(shù)據(jù)庫的文章。文章由敏捷翻譯 – 唐尤華編譯。如需轉(zhuǎn)載,請(qǐng)參見文后聲明。
雖然SQL數(shù)據(jù)庫是非常有用的工具,但經(jīng)歷了15年的一支獨(dú)秀之后壟斷即將被打破。這只是時(shí)間問題:被迫使用關(guān)系數(shù)據(jù)庫,但最終發(fā)現(xiàn)不能適應(yīng)需求的情況不勝枚舉。
但是NoSQL數(shù)據(jù)庫之間的不同,遠(yuǎn)超過兩 SQL數(shù)據(jù)庫之間的差別。這意味著軟件架構(gòu)師更應(yīng)該在項(xiàng)目開始時(shí)就選擇好一個(gè)適合的 NoSQL數(shù)據(jù)庫。針對(duì)這種情況,這里對(duì) Cassandra、Mongodb、CouchDB、Redis、 Riak、 Membase、Neo4j和HBase進(jìn)行了比較:
(編注1:NoSQL:是一項(xiàng)全新的數(shù)據(jù)庫革命性運(yùn)動(dòng),NoSQL的擁護(hù)者們提倡運(yùn)用非關(guān)系型的數(shù)據(jù)存儲(chǔ)。現(xiàn)今的計(jì)算機(jī)體系結(jié)構(gòu)在數(shù)據(jù)存儲(chǔ)方面要求具 備龐大的水平擴(kuò) 展性,而NoSQL致力于改變這一現(xiàn)狀。目前Google的 BigTable 和Amazon 的Dynamo使用的就是NoSQL型數(shù)據(jù)庫。 參見NoSQL詞條。)
1. CouchDB
- 所用語言: Erlang
- 特點(diǎn):DB一致性,易于使用
- 使用許可: Apache
- 協(xié)議: HTTP/REST
- 雙向數(shù)據(jù)復(fù)制,
- 持續(xù)進(jìn)行或臨時(shí)處理,
- 處理時(shí)帶沖突檢查,
- 因此,采用的是master-master復(fù)制(見編注2)
- MVCC – 寫操作不阻塞讀操作
- 可保存文件之前的版本
- Crash-only(可靠的)設(shè)計(jì)
- 需要不時(shí)地進(jìn)行數(shù)據(jù)壓縮
- 視圖:嵌入式 映射/減少
- 格式化視圖:列表顯示
- 支持進(jìn)行服務(wù)器端文檔驗(yàn)證
- 支持認(rèn)證
- 根據(jù)變化實(shí)時(shí)更新
- 支持附件處理
- 因此, CouchApps(獨(dú)立的 js應(yīng)用程序)
- 需要 jQuery程序庫
最佳應(yīng)用場(chǎng)景:適用于數(shù)據(jù)變化較少,執(zhí)行預(yù)定義查詢,進(jìn)行數(shù)據(jù)統(tǒng)計(jì)的應(yīng)用程序。適用于需要提供數(shù)據(jù)版本支持的應(yīng)用程序。
例如: CRM、CMS系統(tǒng)。 master-master復(fù)制對(duì)于多站點(diǎn)部署是非常有用的。
(編注2:master-master復(fù)制:是一種數(shù)據(jù)庫同步方法,允許數(shù)據(jù)在一組計(jì)算機(jī)之間共享數(shù)據(jù),并且可以通過小組中任意成員在組內(nèi)進(jìn)行數(shù)據(jù)更新。)
2. Redis
- 所用語言:C/C++
- 特點(diǎn):運(yùn)行異常快
- 使用許可: BSD
- 協(xié)議:類 Telnet
- 有硬盤存儲(chǔ)支持的內(nèi)存數(shù)據(jù)庫,
- 但自2.0版本以后可以將數(shù)據(jù)交換到硬盤(注意, 2.4以后版本不支持該特性!)
- Master-slave復(fù)制(見編注3)
- 雖然采用簡(jiǎn)單數(shù)據(jù)或以鍵值索引的哈希表,但也支持復(fù)雜操作,例如 ZREVRANGEBYSCORE。
- INCR & co (適合計(jì)算極限值或統(tǒng)計(jì)數(shù)據(jù))
- 支持 sets(同時(shí)也支持 union/diff/inter)
- 支持列表(同時(shí)也支持隊(duì)列;阻塞式 pop操作)
- 支持哈希表(帶有多個(gè)域的對(duì)象)
- 支持排序 sets(高得分表,適用于范圍查詢)
- Redis支持事務(wù)
- 支持將數(shù)據(jù)設(shè)置成過期數(shù)據(jù)(類似快速緩沖區(qū)設(shè)計(jì))
- Pub/Sub允許用戶實(shí)現(xiàn)消息機(jī)制
最佳應(yīng)用場(chǎng)景:適用于數(shù)據(jù)變化快且數(shù)據(jù)庫大小可遇見(適合內(nèi)存容量)的應(yīng)用程序。
例如:股票價(jià)格、數(shù)據(jù)分析、實(shí)時(shí)數(shù)據(jù)搜集、實(shí)時(shí)通訊。
(編注3:Master-slave復(fù)制:如果同一時(shí)刻只有一臺(tái)服務(wù)器處理所有的復(fù)制請(qǐng)求,這被稱為 Master-slave復(fù)制,通常應(yīng)用在需要提供高可用性的服務(wù)器集群。)
3. MongoDB
- 所用語言:C++
- 特點(diǎn):保留了SQL一些友好的特性(查詢,索引)。
- 使用許可: AGPL(發(fā)起者: Apache)
- 協(xié)議: Custom, binary( BSON)
- Master/slave復(fù)制(支持自動(dòng)錯(cuò)誤恢復(fù),使用 sets 復(fù)制)
- 內(nèi)建分片機(jī)制
- 支持 javascript表達(dá)式查詢
- 可在服務(wù)器端執(zhí)行任意的 javascript函數(shù)
- update-in-place支持比CouchDB更好
- 在數(shù)據(jù)存儲(chǔ)時(shí)采用內(nèi)存到文件映射
- 對(duì)性能的關(guān)注超過對(duì)功能的要求
- 建議最好打開日志功能(參數(shù) –journal)
- 在32位操作系統(tǒng)上,數(shù)據(jù)庫大小限制在約2.5Gb
- 空數(shù)據(jù)庫大約占 192Mb
- 采用 GridFS存儲(chǔ)大數(shù)據(jù)或元數(shù)據(jù)(不是真正的文件系統(tǒng))
最佳應(yīng)用場(chǎng)景:適用于需要?jiǎng)討B(tài)查詢支持;需要使用索引而不是 map/reduce功能;需要對(duì)大數(shù)據(jù)庫有性能要求;需要使用 CouchDB但因?yàn)閿?shù)據(jù)改變太頻繁而占滿內(nèi)存的應(yīng)用程序。
例如:你本打算采用 MySQL或 PostgreSQL,但因?yàn)樗鼈儽旧碜詭У念A(yù)定義欄讓你望而卻步。
4. Riak
- 所用語言:Erlang和C,以及一些Javascript
- 特點(diǎn):具備容錯(cuò)能力
- 使用許可: Apache
- 協(xié)議: HTTP/REST或者 custom binary
- 可調(diào)節(jié)的分發(fā)及復(fù)制(N, R, W)
- 用 JavaScript or Erlang在操作前或操作后進(jìn)行驗(yàn)證和安全支持。
- 使用JavaScript或Erlang進(jìn)行 Map/reduce
- 連接及連接遍歷:可作為圖形數(shù)據(jù)庫使用
- 索引:輸入元數(shù)據(jù)進(jìn)行搜索(1.0版本即將支持)
- 大數(shù)據(jù)對(duì)象支持( Luwak)
- 提供“開源”和“企業(yè)”兩個(gè)版本
- 全文本搜索,索引,通過 Riak搜索服務(wù)器查詢( beta版)
- 支持Masterless多站點(diǎn)復(fù)制及商業(yè)許可的 SNMP監(jiān)控
最佳應(yīng)用場(chǎng)景:適用于想使用類似 Cassandra(類似Dynamo)數(shù)據(jù)庫但無法處理 bloat及復(fù)雜性的情況。適用于你打算做多站點(diǎn)復(fù)制,但又需要對(duì)單個(gè)站點(diǎn)的擴(kuò)展性,可用性及出錯(cuò)處理有要求的情況。
例如:銷售數(shù)據(jù)搜集,工廠控制系統(tǒng);對(duì)宕機(jī)時(shí)間有嚴(yán)格要求;可以作為易于更新的 web服務(wù)器使用。
5. Membase
- 所用語言: Erlang和C
- 特點(diǎn):兼容 Memcache,但同時(shí)兼具持久化和支持集群
- 使用許可: Apache 2.0
- 協(xié)議:分布式緩存及擴(kuò)展
- 非常快速(200k+/秒),通過鍵值索引數(shù)據(jù)
- 可持久化存儲(chǔ)到硬盤
- 所有節(jié)點(diǎn)都是唯一的( master-master復(fù)制)
- 在內(nèi)存中同樣支持類似分布式緩存的緩存單元
- 寫數(shù)據(jù)時(shí)通過去除重復(fù)數(shù)據(jù)來減少 IO
- 提供非常好的集群管理 web界面
- 更新軟件時(shí)軟無需停止數(shù)據(jù)庫服務(wù)
- 支持連接池和多路復(fù)用的連接代理
最佳應(yīng)用場(chǎng)景:適用于需要低延遲數(shù)據(jù)訪問,高并發(fā)支持以及高可用性的應(yīng)用程序
例如:低延遲數(shù)據(jù)訪問比如以廣告為目標(biāo)的應(yīng)用,高并發(fā)的 web 應(yīng)用比如網(wǎng)絡(luò)游戲(例如 Zynga)
6. Neo4j
- 所用語言: Java
- 特點(diǎn):基于關(guān)系的圖形數(shù)據(jù)庫
- 使用許可: GPL,其中一些特性使用 AGPL/商業(yè)許可
- 協(xié)議: HTTP/REST(或嵌入在 Java中)
- 可獨(dú)立使用或嵌入到 Java應(yīng)用程序
- 圖形的節(jié)點(diǎn)和邊都可以帶有元數(shù)據(jù)
- 很好的自帶web管理功能
- 使用多種算法支持路徑搜索
- 使用鍵值和關(guān)系進(jìn)行索引
- 為讀操作進(jìn)行優(yōu)化
- 支持事務(wù)(用 Java api)
- 使用 Gremlin圖形遍歷語言
- 支持 Groovy腳本
- 支持在線備份,高級(jí)監(jiān)控及高可靠性支持使用 AGPL/商業(yè)許可
最佳應(yīng)用場(chǎng)景:適用于圖形一類數(shù)據(jù)。這是 Neo4j與其他nosql數(shù)據(jù)庫的最顯著區(qū)別
例如:社會(huì)關(guān)系,公共交通網(wǎng)絡(luò),地圖及網(wǎng)絡(luò)拓譜
7. Cassandra
- 所用語言: Java
- 特點(diǎn):對(duì)大型表格和 Dynamo支持得最好
- 使用許可: Apache
- 協(xié)議: Custom, binary (節(jié)約型)
- 可調(diào)節(jié)的分發(fā)及復(fù)制(N, R, W)
- 支持以某個(gè)范圍的鍵值通過列查詢
- 類似大表格的功能:列,某個(gè)特性的列集合
- 寫操作比讀操作更快
- 基于 Apache分布式平臺(tái)盡可能地 Map/reduce
- 我承認(rèn)對(duì) Cassandra有偏見,一部分是因?yàn)樗旧淼挠纺[和復(fù)雜性,也因?yàn)?Java的問題(配置,出現(xiàn)異常,等等)
最佳應(yīng)用場(chǎng)景:當(dāng)使用寫操作多過讀操作(記錄日志)如果每個(gè)系統(tǒng)組建都必須用 Java編寫(沒有人因?yàn)檫x用 Apache的軟件被解雇)
例如:銀行業(yè),金融業(yè)(雖然對(duì)于金融交易不是必須的,但這些產(chǎn)業(yè)對(duì)數(shù)據(jù)庫的要求會(huì)比它們更大)寫比讀更快,所以一個(gè)自然的特性就是實(shí)時(shí)數(shù)據(jù)分析
8. HBase
(配合 ghshephard使用)
- 所用語言: Java
- 特點(diǎn):支持?jǐn)?shù)十億行X上百萬列
- 使用許可: Apache
- 協(xié)議:HTTP/REST (支持 Thrift,見編注4)
- 在 BigTable之后建模
- 采用分布式架構(gòu) Map/reduce
- 對(duì)實(shí)時(shí)查詢進(jìn)行優(yōu)化
- 高性能 Thrift網(wǎng)關(guān)
- 通過在server端掃描及過濾實(shí)現(xiàn)對(duì)查詢操作預(yù)判
- 支持 XML, Protobuf, 和binary的HTTP
- Cascading, hive, and pig source and sink modules
- 基于 Jruby( JIRB)的shell
- 對(duì)配置改變和較小的升級(jí)都會(huì)重新回滾
- 不會(huì)出現(xiàn)單點(diǎn)故障
- 堪比MySQL的隨機(jī)訪問性能
最佳應(yīng)用場(chǎng)景:適用于偏好BigTable:)并且需要對(duì)大數(shù)據(jù)進(jìn)行隨機(jī)、實(shí)時(shí)訪問的場(chǎng)合。
例如: Facebook消息數(shù)據(jù)庫(更多通用的用例即將出現(xiàn))
編注4:Thrift 是一種接口定義語言,為多種其他語言提供定義和創(chuàng)建服務(wù),由Facebook開發(fā)并開源。
當(dāng)然,所有的系統(tǒng)都不只具有上面列出的這些特性。這里我僅僅根據(jù)自己的觀點(diǎn)列出一些我認(rèn)為的重要特性。與此同時(shí),技術(shù)進(jìn)步是飛速的,所以上述的內(nèi)容肯定需要不斷更新。我會(huì)盡我所能地更新這個(gè)列表。
原文:Kristóf Kovács 編譯:敏捷翻譯 – 唐尤華
如需轉(zhuǎn)載,但請(qǐng)注明原文/譯文出處、譯文超鏈接和譯者等信息,否則視為侵權(quán),謝謝合作!