redis是非常實(shí)用的優(yōu)秀nosql開(kāi)源產(chǎn)品,在高并發(fā)的服務(wù)器環(huán)境中,可以作為緩存和隊(duì)列使用.美中不足的是,到現(xiàn)在為止,redis并沒(méi)有推出自己的集群方案,對(duì)一個(gè)完善的生產(chǎn)環(huán)境,負(fù)載均衡,高可用,主從備份都是必不可少的選項(xiàng),redis提供了穩(wěn)定·的主從備份功能,提供了數(shù)種持久化策略,在主從備份上也提供了增量備份的功能,現(xiàn)在通過(guò)sentinel提供主從熱備的功能,可惜功能上并不完善,達(dá)不到生產(chǎn)環(huán)境的要求。
現(xiàn)在我們選定keepalived作為redis的高可用支持,keepalived不僅可以比較完善的支持redis的高可用,而且作為lvs負(fù)載均衡的配套產(chǎn)品,和lvs天然具有較好的配合,對(duì)于搭建redis集群有較好的擴(kuò)展性。
redis和keepalived的安裝非常簡(jiǎn)單,網(wǎng)上大把的文章可以參考,這里就不再贅述,這里按照redis雙機(jī)主從熱備的場(chǎng)景,講需要注意的幾點(diǎn),網(wǎng)上的很多文章沒(méi)有講清楚。
1,lvs和keepalived的關(guān)系,lvs起的是負(fù)載均衡功能,而keepalived則是高可用(熱備)的支持,keeplaived可以單獨(dú)使用。
2,keepalived通過(guò)VIP虛擬ip的綁定轉(zhuǎn)換來(lái)打造熱備支持,在轉(zhuǎn)化主從身份的過(guò)程中,還支持腳本的調(diào)用,根據(jù)不同的腳本,keepalived可以用于不同的場(chǎng)景要求,可謂功能強(qiáng)
3,centos環(huán)境中keepalived的使用需要安裝ipvsadm支持。
4,如果負(fù)載均衡使用的是nat策略,那么可以不設(shè)置linux的arp_ignore(arp組播忽略)選項(xiàng)。
5,/etc/sysconfig/keeaplived 為keepalived的啟動(dòng)腳本,這個(gè)可以不用修改,如果keepalived的啟動(dòng)配置不在/etc/keepalived/keepalived.conf下則需要在這里指定配置文件的位置
/etc/keepalived/keepalived.conf為kaapalived的默認(rèn)配置文件所在位置
/var/log/messages中記載了keepalived的啟動(dòng),vip轉(zhuǎn)化等log信息,至于角色轉(zhuǎn)化過(guò)程中的腳本執(zhí)行日志,由各個(gè)腳本自己指定
下面貼出主從的keepalived.conf設(shè)置,在centos7下測(cè)試通過(guò)
主機(jī)keepalived.conf
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 128.0.0.1
smtp_connect_timeout 30
router_id LVS_MASTER
}
vrrp_script chk_redis
{
script "/usr/local/redis/sh/redis_check.sh 127.0.0.1 6379"
interval 2
timeout 2
fall 3
}
vrrp_instance VI_1 {
state MASTER
interface eno16777736
virtual_router_id 60
priority 100
advert_int 3
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.72.115
# 192.168.200.17
# 192.168.200.18
}
track_script {
chk_redis
}
notify_master "/usr/local/redis/sh/redis_master_master.sh 127.0.0.1 192.168.72.128 6379"
notify_backup "/usr/local/redis/sh/redis_master_slave.sh 127.0.0.1 192.168.72.128 6379"
notify_fault "/usr/local/redis/sh/redis_fault.sh"
}
virtual_server 192.168.72.115 6379 {
delay_loop 6
lb_algo rr
lb_kind NAT
nat_mask 255.255.255.0
persistence_timeout 50
protocol TCP
sorry_server 127.0.0.1 80
real_server 192.168.72.11 6379 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 6379
}
}
real_server 192.168.72.128 6379 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 6379
}
}
}
從機(jī)的keepalived.conf配置
global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 128.0.0.1
smtp_connect_timeout 30
router_id LVS_BACKUP
}
vrrp_script chk_redis
{
script "/usr/local/redis/sh/redis_check.sh 127.0.0.1 6379"
interval 2
timeout 2
fall 3
}
vrrp_instance VI_1 {
state BACKUP
interface eno16777736
virtual_router_id 60
priority 99
advert_int 3
nopreempt
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.72.115
# 192.168.200.17
# 192.168.200.18
}
track_script {
chk_redis
}
notify_master "/usr/local/redis/sh/redis_backup_master.sh 127.0.0.1 192.168.72.11 6379"
notify_backup "/usr/local/redis/sh/redis_backup_slave.sh 127.0.0.1 192.168.72.11 6379"
notify_fault "/usr/local/redis/sh/redis_fault.sh"
}
virtual_server 192.168.72.115 6379 {
delay_loop 6
lb_algo rr
lb_kind NAT
nat_mask 255.255.255.0
persistence_timeout 50
protocol TCP
sorry_server 127.0.0.1 80
real_server 192.168.72.11 6379 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 6379
}
}
real_server 192.168.72.128 6379 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 6379
}
}
}
請(qǐng)大家注意幾點(diǎn):
1,同一組里的各個(gè)機(jī)器配置文件中router_id不能相同,很多文章講這里可以相同是錯(cuò)誤的,這個(gè)是組中身份的標(biāo)識(shí)。同一個(gè)組里的virtual_router_id必須相同,這是組標(biāo)識(shí)。
2,priority是設(shè)置優(yōu)先級(jí)別的,主服務(wù)器的優(yōu)先級(jí)必須高于從服務(wù)器,即這個(gè)數(shù)字要大些。
3,interface后跟的是網(wǎng)卡名,在centos7中可不叫eth0,最好在配置之前使用ifconfig查看下你的網(wǎng)卡名稱。
4,real_server中的weight設(shè)置的是負(fù)載均衡優(yōu)先級(jí),如果主從熱備的場(chǎng)景下,這里可以設(shè)置為相同。
keeaplived可以在主從都運(yùn)行良好的情況下檢測(cè)主從狀態(tài),當(dāng)主服務(wù)器down掉,或者進(jìn)程意外終止時(shí),先將VIP綁定到從服務(wù)器上,然后通過(guò)指定的腳本來(lái)提升從服務(wù)器的應(yīng)用層面的角色定位,在redis中就是運(yùn)行slave no one,當(dāng)主服務(wù)器恢復(fù)服務(wù)后,將VIP恢復(fù)綁定至主服務(wù)器,然后調(diào)用腳本同步主服務(wù)器宕機(jī)時(shí)間中從服務(wù)器儲(chǔ)存的數(shù)據(jù),然后將主服務(wù)器redis進(jìn)程提升為主redis,從服務(wù)器redis降格為備份進(jìn)程。這些功能的實(shí)現(xiàn)都是通過(guò)主動(dòng)調(diào)用notify_master腳本實(shí)現(xiàn),這個(gè)腳本當(dāng)然可以配置為其他的功能,所以,這就可以使keepalived在很多場(chǎng)合發(fā)揮作用。
交叉參考:
http://www.cnblogs.com/lulu/archive/2013/04/14/3021261.html