在生產(chǎn)應(yīng)用中,某臺“Nginx+PHP+MySQL”接口數(shù)據(jù)服務(wù)器,扮演的角色十分重要,如果服務(wù)器硬件或Nginx、MySQL發(fā)生故障,而短時間內(nèi)無法恢復(fù),后果將非常嚴重。為了避免單點故障,我設(shè)計了此套方案,編寫了failover.sh腳本,實現(xiàn)了雙機互備、全自動切換,故障轉(zhuǎn)移時間只需幾十秒。
一、雙機互備、全自動切換方案:
1、拓撲圖:
2、解釋:
(1)、假設(shè)外網(wǎng)域名blog.s135.com解析到外網(wǎng)虛擬IP 72.249.146.214上,內(nèi)網(wǎng)hosts設(shè)置db10對應(yīng)內(nèi)網(wǎng)虛擬IP 192.168.146.214
(2)、默認情況下,由主機綁定內(nèi)、外網(wǎng)虛擬IP,備機作為備份,當主機的MySQL、Nginx或服務(wù)器出現(xiàn)故障無法訪問時,備機會自動接管內(nèi)、外網(wǎng)虛擬IP。兩臺服務(wù)器都啟動負責(zé)監(jiān)控、自動切換虛擬IP的守護進程/usr/bin/nohup /bin/sh /usr/local/webserver/failover/failover.sh 2>&1 > /dev/null &
(3)、主機和備機上的MySQL服務(wù)器互為主從,互相同步。在主機處于活動狀態(tài)(即由主機綁定虛擬IP)時,讀寫主機的MySQL,寫到主機的數(shù)據(jù)會同步到備機;在備機處于活動狀態(tài)時,讀寫備機的MySQL,寫到備機的數(shù)據(jù)會同步到主機(如果主機上的MySQL死掉暫時無法同步,主機上的MySQL恢復(fù)后,數(shù)據(jù)會自動從備機上同步過來,反之亦然)。
(4)、主機處于活動狀態(tài)時,每20秒會把/data0/htdocs/(網(wǎng)頁、程序、圖片存放目錄)、/usr/local/webserver/php/etc/(php.ini等配置文件目錄)、/usr/local/webserver/nginx/conf/(Nginx配置文件目錄)三個目錄下的文件通過rsync推送到備機服務(wù)器上的對應(yīng)目錄(增量推送,兩臺服務(wù)器上一樣的文件不會重復(fù)推送),反之如果備機處于活動狀態(tài)時,每20秒會嘗試把文件推送到主機。rsync的配置文件見兩臺服務(wù)器的/etc/rsyncd.conf,rsync守護進程的啟動命令為rsync --daemon
3、自動切換流程
(1)、主機默認綁定內(nèi)、外網(wǎng)虛擬IP,當主機的MySQL、Nginx無法訪問或服務(wù)器宕機,主機上的failover.sh守護進程會自動摘除自己綁定的內(nèi)、外網(wǎng)虛擬IP(如果主機上的failover.sh死掉,無法摘除自己綁定的虛擬IP也沒關(guān)系),備機上的failover.sh守護進程會自動接管備機原來綁定的內(nèi)、外網(wǎng)虛擬IP,并發(fā)送ARPing包給內(nèi)、外網(wǎng)網(wǎng)關(guān)更新MAC,強行接管。
(2)、備機綁定虛擬IP后,會發(fā)送ARPing包給內(nèi)、外網(wǎng)網(wǎng)關(guān),通知網(wǎng)關(guān)更新虛擬IP的MAC地址為備機的MAC地址,從而保證了切換后能夠通過虛擬IP及時訪問到備機。
(3)、如果主機的MySQL、Nginx啟動起來,全部恢復(fù)正常訪問,主機上的failover.sh守護進程會檢測主機上的MySQL數(shù)據(jù)是否已經(jīng)完全從備機上同步過來。如果同步延遲時間為0,主機會自動接管內(nèi)、外網(wǎng)虛擬IP,并發(fā)送ARPing包給內(nèi)、外網(wǎng)網(wǎng)關(guān),而備機也會自動摘除內(nèi)、外網(wǎng)虛擬IP。
(4)、整個切換流程均由failover.sh自動完成,無需人工處理。
4、注意事項(很重要):
(1)、crontab里的文件沒有做自動同步,如果修改,需要手工在兩臺服務(wù)器上都做修改。
(2)、/data0/htdocs/目錄內(nèi)任何用ln -s建立的軟連接,rsync不會自動同步,如果在一臺服務(wù)器上建了軟連接,需要手工在另外一臺服務(wù)器上也建相同的軟連接。
(3)、如果要刪除/data0/htdocs/目錄內(nèi)的某些文件或目錄,需要先刪除處于活動狀態(tài)(即綁定了虛擬IP)服務(wù)器上的文件或目錄,再刪除處于備用狀態(tài)服務(wù)器上的文件或目錄。
(4)、除了/data0/htdocs/(網(wǎng)頁、程序、圖片存放目錄)、/usr/local/webserver/php/etc/(php.ini等配置文件目錄)、/usr/local/webserver/nginx/conf/(Nginx配置文件目錄)三個目錄之外的其他配置修改,需要在兩臺服務(wù)器上都做修改。
二、配置文檔與腳本:
1、主機、備機兩臺服務(wù)器的rsync配置(配置相同)
(1)、rsync配置文件
vi /etc/rsyncd.conf
輸入一些內(nèi)容并保存:
uid = root
gid = root
use chroot = no
max connections = 20
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[data0_htdocs]
path = /data0/htdocs/
ignore errors
read only = no
hosts allow = 192.168.146.0/24
hosts deny = 0.0.0.0/32
[php_etc]
path = /usr/local/webserver/php/etc/
ignore errors
read only = no
hosts allow = 192.168.146.0/24
hosts deny = 0.0.0.0/32
[nginx_conf]
path = /usr/local/webserver/nginx/conf/
ignore errors
read only = no
hosts allow = 192.168.146.0/24
hosts deny = 0.0.0.0/32
(2)、啟動rsync守護進程
/usr/bin/rsync --daemon
2、兩臺MySQL互為主從的配置
這里就不詳細寫出互為主從的配置過程了,如果不懂的朋友可以在Google上搜一下。有一點需要指出,my.cnf配置文件中請加上skip-name-resolve參數(shù),使用IP來進行MySQL帳號驗證。
3、主機、備機兩臺服務(wù)器負載監(jiān)控、虛擬IP自動切換的failover.sh守護進程
(1)、啟動failover.sh守護進程(為了開機能夠自動運行,請將以下語句添加到/etc/rc.local文件中):
/usr/bin/nohup /bin/sh /usr/local/webserver/failover/failover.sh 2>&1 > /dev/null &
(2)、停止failover.sh守護進程:
ps -ef | grep failover.sh
會顯示以下信息:
root 15428 1 0 Nov17 ? 00:00:03 /bin/sh /usr/local/webserver/failover/failover.sh
root 20123 6878 0 16:16 pts/2 00:00:00 grep failover.sh
然后殺死failover.sh的進程:
kill -9 15428
(3)、failover.sh代碼內(nèi)容(請注意其中的type設(shè)置,主機設(shè)為master,備機設(shè)為slave):
#!/bin/sh
LANG=C
date=$(date -d "today" +"%Y-%m-%d %H:%M:%S")
#---------------配置信息(開始)---------------
#類型:主機設(shè)為master,備機設(shè)為slave
type="master"
#主機、備機切換日志路徑
logfile="/var/log/failover.log"
#MySQL可執(zhí)行文件地址,例如/usr/local/mysql/bin/mysql;MySQL用戶名;密碼;端口
mysql_bin="/usr/local/webserver/mysql/bin/mysql"
mysql_username="root"
mysql_password="123456"
mysql_port="3306"
#內(nèi)網(wǎng)網(wǎng)關(guān)
gateway_eth0="192.168.146.1"
#主機內(nèi)網(wǎng)真實IP
rip_eth0_master="192.168.146.213"
#備機內(nèi)網(wǎng)真實IP
rip_eth0_slave="192.168.146.215"
#主機、備機內(nèi)網(wǎng)共用的虛擬IP
vip_eth0_share="192.168.113.214"
#外網(wǎng)網(wǎng)關(guān)
gateway_eth1="72.249.146.193"
#主機外網(wǎng)真實IP
rip_eth1_master="72.249.146.213"
#備機外網(wǎng)真實IP
rip_eth1_slave="72.249.146.215"
#主機、備機外網(wǎng)共用的虛擬IP
vip_eth1_share="72.249.146.214"
#---------------配置信息(結(jié)束)---------------
#綁定內(nèi)、外網(wǎng)虛擬IP
function_bind_vip()
{
/sbin/ifconfig eth0:vip ${vip_eth0_share} broadcast ${vip_eth0_share} netmask 255.255.255.255 up
/sbin/route add -host ${vip_eth0_share} dev eth0:vip
/sbin/ifconfig eth1:vip ${vip_eth1_share} broadcast ${vip_eth1_share} netmask 255.255.255.255 up
/sbin/route add -host ${vip_eth1_share} dev eth1:vip
/usr/local/webserver/php/sbin/php-fpm reload
kill -USR1 `cat /usr/local/webserver/nginx/logs/nginx.pid`
/sbin/service crond start
}
#解除內(nèi)、外網(wǎng)虛擬IP
function_remove_vip()
{
/sbin/ifconfig eth0:vip ${vip_eth0_share} broadcast ${vip_eth0_share} netmask 255.255.255.255 down
/sbin/ifconfig eth1:vip ${vip_eth1_share} broadcast ${vip_eth1_share} netmask 255.255.255.255 down
/sbin/service crond stop
}
#主機向備機推送文件的函數(shù)
function_rsync_master_to_slave()
{
/usr/bin/rsync -zrtuog /data0/htdocs/ ${rip_eth0_slave}::data0_htdocs/ > /dev/null 2>&1
/usr/bin/rsync -zrtuog /usr/local/webserver/php/etc/ ${rip_eth0_slave}::php_etc/ > /dev/null 2>&1
/usr/bin/rsync -zrtuog /usr/local/webserver/nginx/conf/ ${rip_eth0_slave}::nginx_conf/ > /dev/null 2>&1
}
#備機向主機推送文件的函數(shù)
function_rsync_slave_to_master()
{
/usr/bin/rsync -zrtuog /data0/htdocs/ ${rip_eth0_master}::data0_htdocs/ > /dev/null 2>&1
/usr/bin/rsync -zrtuog /usr/local/webserver/php/etc/ ${rip_eth0_master}::php_etc/ > /dev/null 2>&1
/usr/bin/rsync -zrtuog /usr/local/webserver/nginx/conf/ ${rip_eth0_master}::nginx_conf/ > /dev/null 2>&1
}
#虛擬IP ARPing
function_vip_arping()
{
/sbin/arping -I eth0 -c 3 -s ${vip_eth0_share} ${gateway_eth0} > /dev/null 2>&1
/sbin/arping -I eth1 -c 3 -s ${vip_eth1_share} ${gateway_eth1} > /dev/null 2>&1
}
while true
do
#用HTTP協(xié)議檢查虛擬IP
if (curl -m 30 -G http://${vip_eth1_share}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${vip_eth0_share}" -e"show slave status\G" > /dev/null 2>&1)
then
#取得與內(nèi)網(wǎng)VIP綁定的服務(wù)器內(nèi)網(wǎng)IP
eth0_active_server=$(${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${vip_eth0_share}" -e"show slave status\G" | grep "Master_Host" | awk -F ': ' '{printf $2}')
#如果內(nèi)網(wǎng)VIP=主機內(nèi)網(wǎng)IP(主機MySQL中的Master_Host顯示的是備機的域名或IP),且本機為主機
if [ "${eth0_active_server}" = "${rip_eth0_slave}" ] && [ "${type}" = "master" ]
then
function_rsync_master_to_slave
function_vip_arping
#如果內(nèi)網(wǎng)VIP=備機內(nèi)網(wǎng)IP(備機MySQL中的Master_Host顯示的是主機的域名或IP)
elif [ "${eth0_active_server}" = "${rip_eth0_master}" ]
then
if (curl -m 30 -G http://${rip_eth1_master}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${rip_eth0_master}" -e"show slave status\G" | grep "Seconds_Behind_Master: 0" > /dev/null 2>&1)
then
#如果主機能夠訪問,數(shù)據(jù)庫同步無延遲,且本機就是主機,那么由本機綁定虛擬IP
if [ "${type}" = "master" ]
then
#如果本機為主機
function_bind_vip
function_vip_arping
echo "${date} 主機已綁定虛擬IP!(Type:1)" >> ${logfile}
else
#如果本機為備機
function_remove_vip
echo "${date} 備機已去除虛擬IP!(Type:2)" >> ${logfile}
fi
else
if [ "${type}" = "slave" ]
then
#如果本機為備機
function_rsync_slave_to_master
function_vip_arping
fi
fi
fi
else
#虛擬IP無法訪問時,判斷主機能否訪問
if (curl -m 30 -G http://${rip_eth1_master}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${rip_eth0_master}" -e"show slave status\G" > /dev/null 2>&1)
then
#如果主機能夠訪問,且本機就是主機,那么由本機綁定虛擬IP
if [ "${type}" = "master" ]
then
function_bind_vip
function_vip_arping
echo "${date} 主機已綁定虛擬IP!(Type:3)" >> ${logfile}
else
function_remove_vip
echo "${date} 備機已去除虛擬IP!(Type:4)" >> ${logfile}
fi
elif (curl -m 30 -G http://${rip_eth1_slave}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${rip_eth0_slave}" -e"show slave status\G" > /dev/null 2>&1)
then
#如果主機不能訪問而備機能夠訪問,且本機就是備機,那么由備機綁定虛擬IP
if [ "${type}" = "slave" ]
then
function_bind_vip
function_vip_arping
echo "${date} 備機已綁定虛擬IP!(Type:5)" >> ${logfile}
else
function_remove_vip
echo "${date} 主機已去除虛擬IP!(Type:6)" >> ${logfile}
fi
else
echo "${date} 主機、備機全部無法訪問!(Type:7)" >> ${logfile}
fi
fi
#每次循環(huán)暫停20秒(即間隔20秒檢測一次)
sleep 20
done
本文來自CSDN博客,轉(zhuǎn)載請標明出處:http://blog.csdn.net/d_ong/archive/2008/11/27/3384979.aspx