Amoeba for MySQL 位于Client、Database Server(s)之間,具有負(fù)載均衡、高可用性、sql過(guò)濾、可承受高并發(fā)、讀寫(xiě)分離、Query Route(解析sql query語(yǔ)句,并且根據(jù)條件與預(yù)先設(shè)定的規(guī)則,請(qǐng)求到指定的目標(biāo)數(shù)據(jù)庫(kù)??刹l(fā)請(qǐng)求多臺(tái)數(shù)據(jù)庫(kù)合并結(jié)果)、對(duì)客戶端透明,能降低數(shù)據(jù)切分帶來(lái)的復(fù)雜多數(shù)據(jù)庫(kù)結(jié)構(gòu)、數(shù)據(jù)切分規(guī)則給應(yīng)用帶來(lái)的影響。適用mysql 4.1或者以上版本(mysql 協(xié)議版本:10)暫時(shí)不支持事務(wù)、DDL語(yǔ)句目前只會(huì)分配給默認(rèn)的數(shù)據(jù)庫(kù)執(zhí)行,運(yùn)行環(huán)境至少需要運(yùn)行 mysql 4.1以上服務(wù), Java 1.5或以上版本。
Amoeba與mysql proxy存在一些區(qū)別。在mysql proxy上面如果想要讀寫(xiě)分離并且讀集群、寫(xiě)集群機(jī)器比較多情況下,用mysql proxy 需要自己寫(xiě)一個(gè)LUA腳本,目前mysql proxy沒(méi)有現(xiàn)成的比較好的lua腳本。amoeba只需要進(jìn)行相關(guān)的配置就可以滿足需求。
一、Mysql Master/Slave 結(jié)構(gòu)之下的讀寫(xiě)分離:
Master: serverM (主庫(kù),接收寫(xiě)操作)
slaves:serverA、serverB、serverC(3個(gè)輔庫(kù),只讀操作)
amoeba提供讀寫(xiě)分離pool相關(guān)配置,可配置serverA、serverB、serverC形成一個(gè)虛擬的virtualSlave,該配置提供LB,failover/failbackup功能.
<dbServer name="virtualSlave" virtual="true">
<poolConfig>
<className>com.meidusa.amoeba.server.MultipleServerPool</className>
<!-- 負(fù)載均衡參數(shù) 1=ROUNDROBIN , 2=WEIGHTBASED -->
<property name="loadbalance">1</property>
<!-- 參與該pool負(fù)載均衡的poolName列表以逗號(hào)分割 -->
<property name="poolNames">serverA,serverB,serverC</property>
</poolConfig>
</dbServer>
<dbServer name="virtualSlave" virtual="true">
<poolConfig>
<className>com.meidusa.amoeba.server.MultipleServerPool</className>
<!-- 負(fù)載均衡參數(shù) 1=ROUNDROBIN , 2=WEIGHTBASED -->
<property name="loadbalance">1</property>
<!-- 參與該pool負(fù)載均衡的poolName列表以逗號(hào)分割 -->
<property name="poolNames">serverA,serverB,serverC</property>
</poolConfig>
</dbServer>
如果不啟用數(shù)據(jù)切分功能,那么只需要配置QueryRouter屬性
wirtePool=serverM
readPool=virtualSlave
<queryRouter>
<className>com.meidusa.amoeba.mysql.parser.MysqlQueryRouter</className>
<property name="LRUMapSize">1500</property>
<property name="defaultPool">serverM</property>
<property name="writePool">serverM</property>
<property name="readPool">virtualSlave</property>
<property name="needParse">true</property>
</queryRouter>
<queryRouter>
<className>com.meidusa.amoeba.mysql.parser.MysqlQueryRouter</className>
<property name="LRUMapSize">1500</property>
<property name="defaultPool">serverM</property>
<property name="writePool">serverM</property>
<property name="readPool">virtualSlave</property>
<property name="needParse">true</property>
</queryRouter>
client發(fā)送過(guò)來(lái)的update/insert/delete語(yǔ)句被發(fā)送到wirtePool,將select語(yǔ)句發(fā)送到readPool機(jī)器執(zhí)行。
二、數(shù)據(jù)切分方面:
這方面amoeba顯然也很容易,舉個(gè)數(shù)據(jù)切分例子:
select * from user_event where user_id='test' and gmt_create between Sysdate() -1 and Sysdate()
如果根據(jù)gmt_create 時(shí)間進(jìn)行數(shù)據(jù)切分,比如6個(gè)月進(jìn)行切分一次,amoeba提供利用類似sql表達(dá)式進(jìn)行數(shù)據(jù)切分:
規(guī)則1:GMT_CREATE > to_date('2008-01-01','yyyy-mm-dd') and GMT_CREATE < to_date('2008-05-31','yyyy-mm-dd')
規(guī)則1對(duì)應(yīng)服務(wù)器1
規(guī)則2:GMT_CREATE > to_date('2008-06-01','yyyy-mm-dd') and GMT_CREATE < to_date('2008-12-31','yyyy-mm-dd')
規(guī)則2對(duì)應(yīng)服務(wù)器2
上面的sql的條件 gmt_create 與規(guī)則里面的的gmt_create 進(jìn)行交集判斷,如果存在交集則表示符合規(guī)則,則會(huì)將sql轉(zhuǎn)移到 規(guī)則1 的相應(yīng)的服務(wù)器上面執(zhí)行。
利用amoeba寫(xiě)出這種類似規(guī)則很容易,但是要想做到數(shù)據(jù)切分以后可線性擴(kuò)容,那么這樣的規(guī)則需要自己根據(jù)業(yè)務(wù)實(shí)際情況進(jìn)行設(shè)置。amoeba可同時(shí)將 sql并發(fā)分發(fā)到多臺(tái)服務(wù)器、然后將結(jié)果合并再反饋給客戶端,而且amoeba內(nèi)部采用無(wú)阻塞模式,工作線程是不會(huì)等待的,并發(fā)請(qǐng)求多臺(tái) database server情況下,客戶端等待的時(shí)間基本上面是性能最差的那臺(tái)database server+amoeba內(nèi)部解析協(xié)議時(shí)間。
中文文檔地址: http://amoeba.sourceforge.net/amoeba.pdf
amoeba 未來(lái)發(fā)展方向: http://amoeba.sourceforge.net/amoeba-big-picture.pdf
文件下載: http://www.sourceforge.net/projects/amoeba
amoeba 開(kāi)發(fā)者博客: http://amoeba.meidusa.com