腳本概述 由于某些sdk或軟件依賴眾多的第三方庫,而從官網(wǎng)下載到windows主機(jī)或從linux傳到windows時(shí),所依賴的so庫往往丟失符號(hào)鏈接,給編譯運(yùn)行帶來不便,因此編寫了
ctlsolink腳本,用于自動(dòng)為單個(gè)so或某目錄下的眾多so或創(chuàng)建/刪除一級(jí)/二級(jí)符號(hào)鏈接。該腳本的用法如下:
● 第1參數(shù)為mk或rm子命令,mk表示創(chuàng)建,rm表示刪除
● 第2參數(shù)為文件或目錄
● 第3參數(shù)是可選的-r,且只能是-r,如果指定了,則表示不斷遞歸子目錄
腳本實(shí)現(xiàn)
考慮到so庫帶版本一般多為libx.so.1,libx.so.1.2,libx.so.1.2.3這三種形式(x為庫名),對(duì)于前一種創(chuàng)建/刪除一級(jí)符號(hào)鏈接即可,后兩種則創(chuàng)建/刪除二級(jí)符號(hào)鏈接。為了精確地抽出一級(jí)和二級(jí)鏈接名稱,這里使用awk來匹配,用shell變量的最短匹配模式從尾部逐步刪除點(diǎn)號(hào)及數(shù)字,核心代碼如下
1
if [ "$dir" != "$self_dir" ] || [ "$name" != "$self_name" ]; then
2
if echo $name | awk '{if($0~/\.so\.[0-9]{1,}\.[0-9]{1,}\.[0-9]{1,}$/) exit 0; else exit 1}'; then
3
link_name=${name%.[0-9]*}
4
link_name=${link_name%.[0-9]*}
5
link_name=${link_name%.[0-9]*}
6
link_name2=${name%.[0-9]*}
7
link_name2=${link_name2%.[0-9]*}
8
elif echo $name | awk '{if($0~/\.so\.[0-9]{1,}\.[0-9]{1,}$/) exit 0; else exit 1}'; then
9
link_name=${name%.[0-9]*}
10
link_name=${link_name%.[0-9]*}
11
link_name2=${name%.[0-9]*}
12
elif echo $name | awk '{if($0~/\.so\.[0-9]{1,}$/) exit 0; else exit 1}'; then
13
link_name=${name%.[0-9]*}
14
else
15
return
16
fi
17
18
if [ $do_mk = "yes" ]; then
19
#echo "name=$name, link_name=$link_name, link_name2=$link_name2"
20
if [ -n "$link_name2" ]; then
21
ln -sf $name $link_name2
22
ln -sf $link_name2 $link_name
23
else
24
ln -sf $name $link_name
25
fi
26
else
27
if [ -n $link_name2 ]; then
28
rm -f $link_name2
29
fi
30
rm -f $link_name
31
fi
32
fi 要注意的是,這兒不能使用%%刪除最長匹配的尾部來得到
link_name,因?yàn)樗哪J绞?span style="color: red">.[0-9]
*,這可能會(huì)錯(cuò)誤地匹配了so前的部分,比如libx.1.so.2得到libx,而期望的是libx.1.so
完整腳本下載:
ctlsolink 運(yùn)行效果 初始狀態(tài)

運(yùn)行ctlsolink創(chuàng)建軟鏈接后

運(yùn)行ctlsolink刪除軟鏈接后
為了減少程序中的硬編碼,靈活按需管理字符串空間,使用了ATL中的CString類,代碼如下
1 CString bstrComPathName;
2 WCHAR componentPathName[1];
3 DWORD dwNameLen = 1;
4
5 if (!GetComputerNameEx(ComputerNamePhysicalDnsFullyQualified, componentPathName, &dwNameLen))
6 {
7 DWORD dwErr = GetLastError();
8 if(ERROR_MORE_DATA==dwErr)
9 {
10 if (!GetComputerNameEx(ComputerNamePhysicalDnsFullyQualified, bstrComPathName.GetBuffer(dwNameLen), &dwNameLen))
11 {
12 zlog_error(g_zc, "GetComputerNameEx with ComputerNamePhysicalDnsFullyQualified fail: %d", GetLastError());
13 return -1;
14 }
15 }
16 else
17 {
18 zlog_error(g_zc, "GetComputerNameEx with ComputerNamePhysicalDnsFullyQualified for fail: %d", dwErr);
19 return -1;
20 }
21 }
22 bstrComPathName.ReleaseBuffer();
需要注意的是,GetBuffer方法雖提供方便了直接修改CString對(duì)象的內(nèi)部緩沖區(qū),但違背了面向?qū)ο笤O(shè)計(jì)的原則(由公開方法修改內(nèi)部數(shù)據(jù)),因此不保證對(duì)象的完整性,在操作完成后一定要調(diào)用ReleaseBuffer
在GNU make中文手冊(cè)這本書中,3.14節(jié)講到了依賴文件的自動(dòng)生成,如下圖

圖中的規(guī)則對(duì)C源文件和Makefile在同一目錄,是正確的。但是不在同一目錄的又希望依賴文件在對(duì)應(yīng)的目錄下,比如src/log/log_file.c,希望依賴文件log_file.d生成在src/log/下。因?yàn)間cc(aix平臺(tái)xlc編譯器亦如此)生成的依賴文件內(nèi)容中目標(biāo)文件名沒有帶路徑,例如下所示
log_file.o: src/log/log_file.c src/log/log_file.h src/log/log_type.h \
src/log/../base/io_ext.h
所以sed就找不到src/log/log_file.o而替換了,改正后的規(guī)則如下
%.d: %.c
$(CC) $(CFLAGS) $(INCS) $< $(MFLAGS) $@.$$$$;\
sed 's,$(*F).o[ :]*,$*.o $@: ,g' < $@.$$$$ > $@;\
$(RM) $@.$$$$
該規(guī)則對(duì)C源文件和Makefile在同一目錄也適合,生成后的依賴文件內(nèi)容如下
src/log/log_file.o src/log/log_file.d: src/log/log_file.c src/log/log_file.h src/log/log_type.h \
src/log/../base/io_ext.h
由于traceroute只能診斷UDP通信的包路由,不能確定TCP通信的實(shí)際路由(可能變換),因此編寫了本文。為方便描述,下面的IP、MAC和端口均為示例,實(shí)際診斷中可更換為具體的值
1. 如何判斷客戶端到服務(wù)器的TCP包,是否經(jīng)過了網(wǎng)關(guān)
在客戶端執(zhí)行 tcpdump -i eno16777728 ether dst b0:b9:8a:69:65:3e and host 192.168.0.26 and tcp port 80 抓取經(jīng)過網(wǎng)關(guān)且往返服務(wù)器的TCP端口為80的包
eno16777728 接口名稱;ether 以太網(wǎng)鏈路,dst 目標(biāo)(src表示源);b0:b9:8a:69:65:3e 網(wǎng)關(guān)MAC地址;192.168.0.26 服務(wù)器IP地址,80 監(jiān)聽端口
輸出結(jié)果分析
● 有輸出,則表示經(jīng)過了網(wǎng)關(guān)
● 有部分輸出而TCP通信還在進(jìn)行,則表示先前的包經(jīng)過了網(wǎng)關(guān),后來路由表項(xiàng)緩存被重定向更新,沒經(jīng)過網(wǎng)關(guān)了
● 不斷輸出,則表示一直經(jīng)過網(wǎng)關(guān)
2. 如何判斷路由表項(xiàng)緩存被重定向更新
在客戶端執(zhí)行 tcpdump -i eno16777728 src 192.168.1.1 and dst 192.168.1.45 and icmp 抓取來自網(wǎng)關(guān)和到達(dá)客戶端的所有icmp包
192.168.1.1 網(wǎng)關(guān)IP;192.168.1.45 客戶端(出口)IP
輸出結(jié)果分析
● 沒有輸出,則表示沒有收到rerdirect包,路由表項(xiàng)緩存不變
● 有輸出類似ICMP redirect 192.168.0.26 to host 192.168.0.26(前面一個(gè)IP表示到達(dá)服務(wù)器的直接路由IP,后一個(gè)表示服務(wù)器IP)
● 則表示收到了ICMP重定向包,內(nèi)核會(huì)更新路由表項(xiàng)及緩存網(wǎng)關(guān)為192.168.0.26,下次通信時(shí)就直接發(fā)往192.168.0.26了
3. 如何控制接收ICMP重定向
● echo 0 | tee /proc/sys/net/ipv4/conf/*/accept_redirects 禁止所有網(wǎng)卡接收,可避免路由表項(xiàng)緩存被修改
● echo 1 | tee /proc/sys/net/ipv4/conf/*/accept_redirects 啟用所有網(wǎng)卡接收ICMP重定向消息
4. 查看、刷新路由表項(xiàng)緩存
● ip route get 192.168.0.26 可以從輸出中看到通住目標(biāo)IP的實(shí)際路由
● ip route flush cache 清空路由表項(xiàng)緩存,下次通信時(shí)內(nèi)核會(huì)查main表(即命令route輸出的表)以確定路由
前言
近期有機(jī)會(huì),深入了SSL/TLS協(xié)議原理與細(xì)節(jié),并分析了相關(guān)密碼學(xué)內(nèi)容,心得頗多,歷經(jīng)半月,終于寫成了這份文檔。
本人水平尚有限,錯(cuò)誤難免,歡迎指正,不勝感激。
目錄

部分章節(jié)預(yù)覽
第3章
第5章第4節(jié)
第11章第3節(jié)
全文
下載地址:
深入理解SSL/TLS技術(shù)內(nèi)幕
算法描述
【公開密鑰】
p是512到1024位的素?cái)?shù)
q是160位長,并與p-1互素的因子
g = h^((p-1)/q) mod p,其中h<p-1且g>1
y = g^x mod p
【私有密鑰】
x < q,長160位
【簽名】
k為小于q的隨機(jī)數(shù),k^-1為k模q的逆元,m為消息,H為單向散列函數(shù)
r = (g^k mod p) mod q
s = (k^-1(H(m)+xr)) mod q
【驗(yàn)證】
w = s^-1 mod q
u1 = (H(m)w) mod q
u2 = (rw) mod q
v = ((g^u1 * y^u2) mod p) mod q
若v = r,則簽名被驗(yàn)證
驗(yàn)簽推導(dǎo)
1. 先證明兩個(gè)中間結(jié)論
因(h,p)=1(p為素?cái)?shù)且h<p,(a1,a1)是數(shù)論中的符號(hào),記為a1與a2的最大公約數(shù)),故依費(fèi)馬小定理有h^(p-1)=1 mod p,則對(duì)任意整數(shù)n,有
g^(nq) mod p = (h^((p-1)/q))^(nq) mod p
= h^(n(p-1)) mod p
= (h^(p-1) mod p)^n mod p
= (1^n) mod p = 1 (1)
對(duì)任意整數(shù)t、n,可表示為t=nq+z,其中z>0,則有
g^t mod p = g^(nq+z) mod p
= (g^(nq) mod p * (g^z mod p)) mod p
= g^z mod p
= g^(t mod q) mod p (2)
2. 再假設(shè)簽名{r,s}和消息m均沒被修改,令H(m)=h,開始推導(dǎo)v
v = ((g^u1 * y^u2) mod p) mod q
= (g^(hw mod q) * ((g^x mod p)^(rw mod q) mod p)) mod q
= ((g^(hw mod q) mod p * ((g^x mod p)^(rw mod q) mod p)) mod p) mod q
= ((g^(hw mod q) mod p * (g^(x * (rw mod q)) mod p)) mod p) mod q
= ((g^(hw) mod p * ((g^(rw mod q) mod p)^x mod p)) mod p) mod q
= ((g^(hw) mod p * ((g^(rw) mod p)^x mod p)) mod p) mod q
= ((g^(hw) mod p * (g^(rwx) mod p)) mod p) mod q
= (g^(hw+rwx) mod p) mod q
= (g^((h+rx)w) mod p) mod q (3)
又因w = s^-1 mod q
故(sw) mod q = 1
=>(((k^-1(h+xr)) mod q)w) mod q = 1
=>((k^-1(h+xr))w) mod q = 1
=>(h+xr)w = k mod q (4)
將(4)式代入(3)式中得
v = (g^(k mod q) mod p) mod q
= (g^k mod p) mod q
= r
3. 最后由(4)式知,若h、r和s任一個(gè)有變化(s變化導(dǎo)致w變化),則v ≠ r
算法描述
隨機(jī)選擇兩個(gè)大的素?cái)?shù) p、q ,且p ≠ q,計(jì)算n = pq、r = (p-1)(q-1),依歐拉定理,r即為與n互質(zhì)的素?cái)?shù)個(gè)數(shù);選擇一個(gè)小于r的整數(shù)e(即加密指數(shù)),求得e關(guān)于模r的逆元d(即解密指數(shù)),則{n,e}為公鑰、{n,d}為私鑰;根據(jù)模的逆元性質(zhì)有ed ≡ 1 (mod r);設(shè)m為明文,則加密運(yùn)算為m^e ≡ c (mod n), c即為密文;則解密過程 c^d ≡ m (mod n)。
證明會(huì)用到費(fèi)馬小定理,即
若y為素?cái)?shù)且x不為y的倍數(shù), 則 x^(y-1) ≡ 1 (mod y)(費(fèi)馬小定理的證明需先證明歐拉定理,此處略)。符號(hào)≡表示同余,^表示
冪,|表示整除,*表示相乘。
算法證明
第一種證明途徑
因 ed ≡ 1 (mod (p-1)(q-1)),令 ed = k(p-1)(q-1) + 1,其中 k 是整數(shù)
則 c^d = (m^e)^d = m^(ed) = m^(k(p-1)(q-1)+1)
1.若m不是p的倍數(shù),也不是q的倍數(shù)
則 m^(p-1) ≡ 1 (mod p) (
費(fèi)馬小定理)
=> m^(k(p-1)(q-1)) ≡ 1 (mod p)
m^(q-1) ≡ 1 (mod q) (
費(fèi)馬小定理)
=> m^(k(p-1)(q-1)) ≡ 1 (mod q)
故 p、q 均能整除 m^(k(p-1)(q-1)) - 1
=> pq | m^(k(p-1)(q-1)) - 1
即 m^(k(p-1)(q-1)) ≡ 1 (mod pq)
=> m^(k(p-1)(q-1)+1) ≡ m (mod n)
2.若m是p的倍數(shù),但不是q的倍數(shù)
則 m^(q-1) ≡ 1 (mod q) (
費(fèi)馬小定理)
=> m^(k(p-1)(q-1)) ≡ 1 (mod q)
=> m^(k(p-1)(q-1)+1) ≡ m (mod q)
因 p | m
=> m^(k(p-1)(q-1)+1) ≡ 0 (mod p)
=> m^(k(p-1)(q-1)+1) ≡ m (mod p)
故 m^(k(p-1)(q-1)+1) ≡ m (mod pq)
即 m^(k(p-1)(q-1)+1) ≡ m (mod n)
3.若m是q的倍數(shù),但不是p的倍數(shù),證明同上
4.若m同為p和q的倍數(shù)時(shí)
則 pq | m
=> m^(k(p-1)(q-1)+1) ≡ 0 (mod pq)
=> m^(k(p-1)(q-1)+1) ≡ m (mod pq)
即 m^(k(p-1)(q-1)+1) ≡ m (mod n)
第二種證明途徑
先證明m^ed ≡ m (mod p)恒成立
1.若p為m的因子,則p | m^ed - m顯然成立,即m^ed ≡ m (mod p)
2.若p不為m的因子,令ed = k(p-1)(q-1) + 1,則 m^(ed-1) - 1 = m^(k(p-1)(q-1)) - 1
m^(p-1) ≡ 1 (mod p) (
費(fèi)馬小定理)
=> m^(k(p-1)) ≡ 1 (mod p)
=> m^(k(p-1)(q-1)) ≡ 1 (mod p)
=> m^(ed-1) ≡ 1 (mod p)
=> m^ed ≡ m (mod p)
同理可證m^ed ≡ m (mod q)
故m^ed ≡ m (mod pq),即m^ed ≡ m (mod n)
又因 c^d = m^e^d = m^(ed)
故 c^d ≡ m (mod n),證畢
總結(jié)
第二種比第一種簡單直觀,以上證明途徑對(duì)RSA私鑰簽名與驗(yàn)簽同樣適合。
腳本源碼 由于很多應(yīng)用項(xiàng)目依賴諸多第三方開源庫,這些開源庫各有不同的核心目錄、庫目標(biāo)和輸出位置,這里的核心目錄是指
僅產(chǎn)生so庫的工程目錄,庫目標(biāo)是指
僅產(chǎn)生so庫的make目標(biāo),輸出位置是相對(duì)于核心目錄的,但不必是子目錄,可用..來回溯到父目錄的某位置,更高層目錄的位置,依次類推。為了統(tǒng)一支持它們,使用了一些技巧,詳見示例腳本如下
1
.PHONY: all clean lib core
2
3
thirdlib=openssl-1.0.1u?build_ssl ACE_wrappers/ace json ncurses-6.0??lib
4
coremod=main
5
6
dir = `echo $@ | awk -F? '{print $$1}'`
7
aim = `echo $@ | awk -F? '{print $$2}'`
8
out = `echo $@ | awk -F? '{print $$3}'`
9
10
copy=\cp -Pf ${dir}/${out}/*.so* output
11
12
define MAKE_SUBDIR
13
echo "${dir},${aim},${out}"; \
14
if [ "$(MAKECMDGOALS)" != "clean" ]; then \
15
$(MAKE) ${aim} -C ${dir}; \
16
if [ "$$is_cp" -eq "1" ]; then \
17
$(copy); \
18
fi \
19
else \
20
$(MAKE) clean -C ${dir}; \
21
fi
22
endef
23
24
all: lib core
25
26
lib: $(thirdlib)
27
28
$(thirdlib)::
29
@is_cp=1; $(MAKE_SUBDIR)
30
31
core: $(coremod)
32
33
$(coremod)::
34
@is_cp=0; $(MAKE_SUBDIR)
35
36
clean: $(thirdlib) $(coremod) 實(shí)現(xiàn)技巧 1)使用?作為分隔符,所分隔的3個(gè)域依次為核心目錄、庫目標(biāo)、輸出位置;使用awk來獲取各域,分別為dir、aim和out;在運(yùn)行過程中,值dir一定非空,而aim為空則表示默認(rèn)目標(biāo),out為空表示輸出位置即為dir目錄。
2)copy為命令變量,功能為每當(dāng)一個(gè)庫編譯完成后,將輸出的so庫拷貝到output下,并保持軟鏈接;對(duì)于有的開源庫,需在編譯前,使用對(duì)應(yīng)的選項(xiàng)來調(diào)用configure,使其生成so庫。
3)為了重用代碼,定義了MAKE_SUBDIR命令包,參數(shù)變量為is_cp,當(dāng)is_cp為1時(shí),表示當(dāng)前編譯的是依賴庫,否則是主程序。
4)thirdlib和coremod為依賴文件,使用了雙冒號(hào)規(guī)則,這樣一來,只要在thirdlib中加入新的依賴庫,指定核心目錄、庫目標(biāo)和輸出位置即可,其它地方不用改。
腳本概述 當(dāng)需要在很多(比如幾十至幾百)臺(tái)機(jī)器上編譯同一程序時(shí),如果一個(gè)個(gè)地手工拷貝源碼、再編譯,那么效率就很低,為了能大量節(jié)省手工、并行地編譯,因此寫了一個(gè)腳本,該腳本基于自動(dòng)化腳本語言expect(expect基于tcl)實(shí)現(xiàn),基本原理是針對(duì)每個(gè)遠(yuǎn)程主機(jī),創(chuàng)建一個(gè)子進(jìn)程,在該子進(jìn)程內(nèi)先調(diào)用scp拷貝源碼到遠(yuǎn)程主機(jī),再用ssh登錄到遠(yuǎn)程主機(jī)、發(fā)送cd、configure和make命令,交互期間的命令輸出多用正則分析,最終的編譯輸出保存到當(dāng)前目錄output子目錄下。其命令行參數(shù)說明如下:
● 第1參數(shù)為遠(yuǎn)程主機(jī)配置文件:一個(gè)多行文本文件,每行格式為IP 用戶名 密碼,空格符分隔,支持#注釋。
● 第2參數(shù)為本地主機(jī)源碼目錄:要求該目錄存在Makefile和configure文件。
● 第3參數(shù)為遠(yuǎn)程主機(jī)目標(biāo)目錄:用于存放源碼的位置。
腳本實(shí)現(xiàn) 拷貝源碼
1
proc copy_file {host user srcdir dstdir passwd {to 10} } {
2
if [catch "spawn scp -rq $srcdir $user@$host:$dstdir" msg] {
3
send_error "failed to spawn scp: $msg\n"
4
exit 1
5
}
6
7
set timeout $to
8
expect_after eof {
9
send_error "$host scp died unexpectedly\n"
10
exit 1
11
}
12
expect {
13
"(yes/no)?" { send "yes\r"; exp_continue }
14
-re "(?:P|p)assword:" { send "$passwd\r" }
15
timeout { do_timeout "$host scp" }
16
}
17
18
expect {
19
full_buffer { exp_continue }
20
timeout { exp_continue }
21
eof
22
}
23
}
第2行調(diào)用spawn命令執(zhí)行scp命令,并用catch捕捉錯(cuò)誤;當(dāng)執(zhí)行成功后,第12行用expect等待遠(yuǎn)端輸出(超時(shí)默認(rèn)為10秒),第13、14行自動(dòng)輸入用戶名和密碼,當(dāng)過程中網(wǎng)絡(luò)連接斷開時(shí),會(huì)匹配到第8行的eof;當(dāng)輸出完成連接關(guān)閉時(shí),會(huì)匹配到第21行的eof;如果輸出太多超過expect內(nèi)部的buffer時(shí),會(huì)匹配到第19行的full_buffer,這里由于為了提高效率,使用了靜默方式的scp,因些實(shí)際會(huì)匹配到第20行的timeout,不管匹配到哪種情況,都要繼續(xù)直到eof。
執(zhí)行編譯
1
proc do_make {host user passwd subdir {to 10} } {
2
if [catch {spawn ssh $user@$host} msg ] {
3
send_error "failed to spawn ssh: $msg\n"
4
exit 1
5
}
6
7
set timeout $to
8
expect_after eof {
9
send_error "$host ssh died unexpectedly\n"
10
exit 1
11
}
12
13
expect {
14
"*yes/no" { send "yes\r"; exp_continue }
15
-re "(?:P|p)assword:" { send "$passwd\r" }
16
timeout { do_timeout "$host ssh" }
17
}
18
wait_cmd $spawn_id passwd
19
20
send "cd $subdir\r"
21
wait_cmd $spawn_id cd
22
23
send "source configure\r"
24
wait_cmd $spawn_id configure
25
26
send "make\r"
27
wait_cmd $spawn_id make
28
29
send "exit\r"
30
expect eof
31
}
關(guān)于spawn和expect的解釋與上節(jié)
拷貝源碼相同,不同的是依次發(fā)送命令cd、source configure、make,每個(gè)命令須等到命令提示符后(調(diào)用自定義函數(shù)wait_cmd)再發(fā)下一個(gè),最后發(fā)送exit退出ssh、導(dǎo)致連接關(guān)閉,匹配到最后一行的eof。對(duì)于有的項(xiàng)目源碼,可能沒有或不用配置,那么configure文件可以不存在或內(nèi)容為空,如果不存在導(dǎo)致報(bào)錯(cuò)也沒關(guān)系,不影響make;如果configure出錯(cuò),那么make也會(huì)出錯(cuò)。這里使用source是為了使配置在當(dāng)前shell中生效。
主循環(huán)
1
set f [open $file r]
2
set curtime [clock seconds]
3
4
log_user 0
5
set s {[:blank:]}
6
set pattern "^(\[^#$s]+)\[$s]+(\[^$s]+)\[$s]+(\[^$s]+)"
7
8
while { [gets $f line] != -1 } {
9
if { ![regexp $pattern [string trimleft $line] ? host user passwd] } {
10
continue
11
}
12
send_user "$host $user $passwd\n"
13
if { ![fork] } {
14
15
set filename output/${host}_[clock format $curtime -format %y.%m.%d_%H.%M.%S].log
16
log_file -noappend -a $filename
17
18
copy_file $host $user $srcdir $dstdir $passwd 30
19
do_make $host $user $passwd $subdir 30
20
21
send_user "$host finish\n"
22
exit
23
}
24
}
打開遠(yuǎn)程主機(jī)配置文件,讀取每一行直到文件尾,忽略注釋行,用正則提取IP、用戶名和密碼,創(chuàng)建子進(jìn)程,按IP和當(dāng)前時(shí)間命名log文件(由于前面調(diào)用log_user 0關(guān)閉了控制臺(tái)輸出,因此為了能記錄輸出到日志文件,一定要加-a選項(xiàng)),最后調(diào)用函數(shù)copy_file和do_make。
完整腳本下載:
autobuild.zip
描述
云查殺平臺(tái)以nginx作為反向代理服務(wù)器,作為安全終端與云查詢服務(wù)的橋梁。當(dāng)安全終端需要查詢黑文件時(shí),HTTP請(qǐng)求及其響應(yīng)都會(huì)經(jīng)過nginx,為了獲取并統(tǒng)計(jì)一天24小時(shí)查詢的黑文件數(shù)量,就得先截獲經(jīng)過nginx的HTTP響應(yīng),再做數(shù)據(jù)分析。截獲HTTP數(shù)據(jù)流有多種方法,為了簡單高效,這里使用了掛接HTTP過濾模塊的方法,另外為了不影響nginx本身的IO處理,將HTTP響應(yīng)實(shí)體發(fā)送到另一個(gè)進(jìn)程即統(tǒng)計(jì)服務(wù),由統(tǒng)計(jì)服務(wù)來接收并分析HTTP響應(yīng),架構(gòu)如下圖
統(tǒng)計(jì)服務(wù)由1個(gè)接收線程和1個(gè)存儲(chǔ)線程構(gòu)成,其中接收線程負(fù)責(zé)接收從nginx過濾模塊發(fā)來的HTTP響應(yīng)實(shí)體,解析它并提取黑文件MD5,加入共享環(huán)形隊(duì)列;而存儲(chǔ)線程從共享環(huán)形隊(duì)列移出黑文件MD5,插入到臨時(shí)內(nèi)存映射文件,于每天定時(shí)同步到磁盤文件。
特點(diǎn)
這種架構(gòu)減少了nginx IO延遲,保證了nginx的穩(wěn)定高效運(yùn)行,從而不影響用戶的業(yè)務(wù)運(yùn)行;本地連接為非阻塞的,支持了統(tǒng)計(jì)服務(wù)的獨(dú)立運(yùn)行與升級(jí)。
實(shí)現(xiàn)
nginx過濾模塊
該流程運(yùn)行在nginx工作進(jìn)程。
由于nginx采用了異步IO機(jī)制,因此僅當(dāng)截獲到HTTP響應(yīng)實(shí)體也就是有數(shù)據(jù)經(jīng)過時(shí),才有后面的操作;若沒有數(shù)據(jù),則什么也不用做。這里每次發(fā)送前先判斷是否連接了統(tǒng)計(jì)服務(wù),是為了支持統(tǒng)計(jì)服務(wù)的獨(dú)立運(yùn)行與升級(jí),換句話說,不管統(tǒng)計(jì)服務(wù)是否運(yùn)行或崩潰,都不影響nginx的運(yùn)行。
統(tǒng)計(jì)服務(wù)
接收線程
這里的接收線程也就是主線程。
存儲(chǔ)線程
存儲(chǔ)線程為另一個(gè)工作線程。
同步文件定時(shí)器的時(shí)間間隔要比新建文件定時(shí)器的短,由于定時(shí)器到期的事件處理是一種異步執(zhí)行流,所以將它們當(dāng)做并行,與“從q頭移出黑文件MD5”操作畫在了同一水平方向。