一年十二月  誰主春秋
關(guān)注:基礎(chǔ)系統(tǒng)工程 密碼學(xué) 人工智能
C++博客
首頁
新隨筆
聯(lián)系
聚合
管理
隨筆-162 評(píng)論-223 文章-30 trackbacks-0
Shell應(yīng)用(9):自動(dòng)化批量編譯
腳本概述
當(dāng)需要在很多(比如幾十至幾百)臺(tái)機(jī)器上編譯同一程序時(shí),如果一個(gè)個(gè)地手工拷貝源碼、再編譯,那么效率就很低,為了能大量節(jié)省手工、并行地編譯,因此寫了一個(gè)腳本,該腳本基于自動(dòng)化腳本語言expect(expect基于tcl)實(shí)現(xiàn),基本原理是針對(duì)每個(gè)遠(yuǎn)程主機(jī),創(chuàng)建一個(gè)子進(jìn)程,在該子進(jìn)程內(nèi)先調(diào)用scp拷貝源碼到遠(yuǎn)程主機(jī),再用ssh登錄到遠(yuǎn)程主機(jī)、發(fā)送cd、configure和make命令,交互期間的命令輸出多用正則分析,最終的編譯輸出保存到當(dāng)前目錄output子目錄下。其命令行參數(shù)說明如下:
●
第1參數(shù)為遠(yuǎn)程主機(jī)配置文件:一個(gè)多行文本文件,每行格式為IP 用戶名 密碼,空格符分隔,支持#注釋。
●
第2參數(shù)為本地主機(jī)源碼目錄:要求該目錄存在Makefile和configure文件。
●
第3參數(shù)為遠(yuǎn)程主機(jī)目標(biāo)目錄:用于存放源碼的位置。
腳本實(shí)現(xiàn)
拷貝源碼
1
proc
copy_file
{host user srcdir dstdir passwd {
to
10
} } {
2
if
[catch
"
spawn scp -rq $srcdir $user@$host:$dstdir
"
msg] {
3
send_error
"
failed to spawn scp: $msg\n
"
4
exit
1
5
}
6
7
set
timeout $
to
8
expect_after eof
{
9
send_error
"
$host scp died unexpectedly\n
"
10
exit
1
11
}
12
expect {
13
"
(yes/no)?
"
{ send
"
yes\r
"
; exp_continue }
14
-
re
"
(?:P|p)assword:
"
{ send
"
$passwd\r
"
}
15
timeout { do_timeout
"
$host scp
"
}
16
}
17
18
expect {
19
full_buffer
{ exp_continue }
20
timeou
t
{ exp_continue }
21
eof
22
}
23
}
第2行調(diào)用spawn命令執(zhí)行scp命令,并用catch捕捉錯(cuò)誤;當(dāng)執(zhí)行成功后,第12行用expect等待遠(yuǎn)端輸出(超時(shí)默認(rèn)為10秒),第13、14行自動(dòng)輸入用戶名和密碼,當(dāng)過程中網(wǎng)絡(luò)連接斷開時(shí),會(huì)匹配到第8行的eof;當(dāng)輸出完成連接關(guān)閉時(shí),會(huì)匹配到第21行的eof;如果輸出太多超過expect內(nèi)部的buffer時(shí),會(huì)匹配到第19行的full_buffer,這里由于為了提高效率,使用了靜默方式的scp,因些實(shí)際會(huì)匹配到第20行的timeout,不管匹配到哪種情況,都要繼續(xù)直到eof。
執(zhí)行編譯
1
proc
do_make
{host user passwd subdir {
to
10
} } {
2
if
[catch {spawn ssh $user@$host} msg ] {
3
send_error
"
failed to spawn ssh: $msg\n
"
4
exit
1
5
}
6
7
set
timeout $
to
8
expect_after eof {
9
send_error
"
$host ssh died unexpectedly\n
"
10
exit
1
11
}
12
13
expect {
14
"
*yes/no
"
{ send
"
yes\r
"
; exp_continue }
15
-
re
"
(?:P|p)assword:
"
{ send
"
$passwd\r
"
}
16
timeout { do_timeout
"
$host ssh
"
}
17
}
18
wait_cmd $spawn_id passwd
19
20
send
"
cd
$subdir\r
"
21
wait_cmd $spawn_id cd
22
23
send
"
source configure
\r
"
24
wait_cmd $spawn_id configure
25
26
send
"
make
\r
"
27
wait_cmd $spawn_id make
28
29
send
"
exit\r
"
30
expect eof
31
}
關(guān)于spawn和expect的解釋與上節(jié)
拷貝源碼
相同,不同的是依次發(fā)送命令cd、source configure、make,每個(gè)命令須等到命令提示符后(調(diào)用自定義函數(shù)wait_cmd)再發(fā)下一個(gè),最后發(fā)送exit退出ssh、導(dǎo)致連接關(guān)閉,匹配到最后一行的eof。對(duì)于有的項(xiàng)目源碼,可能沒有或不用配置,那么configure文件可以不存在或內(nèi)容為空,如果不存在導(dǎo)致報(bào)錯(cuò)也沒關(guān)系,不影響make;如果configure出錯(cuò),那么make也會(huì)出錯(cuò)。這里使用source是為了使配置在當(dāng)前shell中生效。
主循環(huán)
1
set
f [open $file r]
2
set
curtime [clock seconds]
3
4
log_user
0
5
set
s {[:blank:]}
6
set
pattern
"
^(\[^#$s]+)\[$s]+(\[^$s]+)\[$s]+(\[^$s]+)
"
7
8
while
{ [gets $f line] !
=
-
1
} {
9
if
{ ![
regexp
$pattern [
string
trimleft $line] ? host user passwd] } {
10
continue
11
}
12
send_user
"
$host $user $passwd\n
"
13
if
{ ![fork] } {
14
15
set
filename output
/
${host}_[clock format $curtime
-
format %y.%m.%d_%H.%M.%S].log
16
log_file
-
noappend
-
a
$filename
17
18
copy_file $host $user $srcdir $dstdir $passwd
30
19
do_make $host $user $passwd $subdir
30
20
21
send_user
"
$host finish\n
"
22
exit
23
}
24
}
打開遠(yuǎn)程主機(jī)配置文件,讀取每一行直到文件尾,忽略注釋行,用正則提取IP、用戶名和密碼,創(chuàng)建子進(jìn)程,按IP和當(dāng)前時(shí)間命名log文件(由于前面調(diào)用log_user 0關(guān)閉了控制臺(tái)輸出,因此為了能記錄輸出到日志文件,一定要加-a選項(xiàng)),最后調(diào)用函數(shù)copy_file和do_make。
完整腳本下載:
autobuild.zip
posted on 2016-09-28 11:04
春秋十二月
閱讀(3857)
評(píng)論(0)
編輯
收藏
引用
所屬分類:
System
只有注冊(cè)用戶
登錄
后才能發(fā)表評(píng)論。
【推薦】100%開源!大型工業(yè)跨平臺(tái)軟件C++源碼提供,建模,組態(tài)!
相關(guān)文章:
Windows異常分發(fā)與子系統(tǒng)圖表集 -- 摘自Windows內(nèi)核原理與實(shí)現(xiàn)
淺談Linux共享庫庫函數(shù)掛鉤檢測(cè)
kretprobe探究思考
基于Rust構(gòu)建WebAssembly
基于VSS可傳輸卷影拷貝的備份架構(gòu)
Shell(11): 創(chuàng)建和刪除so庫軟鏈接
關(guān)于make依賴文件的自動(dòng)生成
Shell應(yīng)用(10):支持開源庫編譯的Makefile
Shell應(yīng)用(9):自動(dòng)化批量編譯
一種攔截Linux動(dòng)態(tài)庫API的方法及裝置
網(wǎng)站導(dǎo)航:
博客園
IT新聞
BlogJava
博問
Chat2DB
管理
本博客所有隨筆均為原創(chuàng),因?yàn)椴欢ㄆ诰S護(hù)更新,所以轉(zhuǎn)載請(qǐng)注明出處,如有問題和建議,請(qǐng)留言或評(píng)論,發(fā)表您的寶貴意見,藉此平臺(tái)以分享交流、共同進(jìn)步。
聯(lián)系方式:微信math-engineer
<
2025年8月
>
日
一
二
三
四
五
六
27
28
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1
2
3
4
5
6
常用鏈接
我的隨筆
我的評(píng)論
我參與的隨筆
留言簿
(78)
給我留言
查看公開留言
查看私人留言
隨筆分類
(161)
Algorithm(49)
C/C++(24)
Compiler(25)
Compute Theory(5)
Database(4)
Network(17)
Opensrc(13)
System(24)
隨筆檔案
(162)
2025年7月 (1)
2025年6月 (2)
2025年4月 (2)
2024年12月 (1)
2024年11月 (1)
2024年9月 (1)
2024年8月 (2)
2024年6月 (1)
2024年5月 (1)
2024年4月 (1)
2024年3月 (2)
2024年2月 (2)
2023年12月 (1)
2023年11月 (2)
2023年10月 (2)
2023年9月 (37)
2021年12月 (1)
2021年10月 (1)
2021年9月 (1)
2021年2月 (1)
2020年5月 (3)
2020年4月 (1)
2019年11月 (4)
2019年7月 (1)
2018年11月 (1)
2017年12月 (1)
2016年12月 (1)
2016年11月 (2)
2016年10月 (1)
2016年9月 (1)
2016年8月 (3)
2016年7月 (4)
2016年5月 (1)
2015年10月 (2)
2015年9月 (1)
2015年6月 (2)
2015年5月 (3)
2015年2月 (1)
2015年1月 (1)
2014年12月 (2)
2014年4月 (2)
2014年3月 (1)
2014年1月 (1)
2013年10月 (1)
2013年9月 (1)
2013年8月 (3)
2013年5月 (1)
2013年3月 (1)
2012年11月 (1)
2012年9月 (3)
2012年8月 (1)
2012年7月 (1)
2012年6月 (5)
2012年5月 (3)
2011年12月 (5)
2011年11月 (1)
2011年10月 (5)
2011年8月 (7)
2011年7月 (6)
2011年6月 (6)
2010年6月 (1)
2009年12月 (1)
2009年8月 (1)
2009年7月 (1)
2009年6月 (1)
2009年4月 (3)
文章分類
(30)
詩詞作品集(30)
關(guān)注的開源項(xiàng)目
LLVM
編譯系統(tǒng)
nginx
高性能Web服務(wù)器
OpenSSL
密碼學(xué)庫
suricata
網(wǎng)絡(luò)IPS引擎
最新隨筆
1.?關(guān)于分圓域的一般結(jié)論
2.?一個(gè)歐拉數(shù)整除問題的兩種證法
3.?有限域上的特征與指數(shù)和之?dāng)U展
4.?二元二次型的相似變換、正定性與正交分解
5.?關(guān)于群的一些結(jié)論及應(yīng)用
6.?不定方程的代數(shù)數(shù)論解法
7.?關(guān)于橢圓曲線的驗(yàn)證計(jì)算
8.?不可約多項(xiàng)式判別算法的改正
9.?論證有限域上平方根的求解
10.?求解離散對(duì)數(shù)問題的Terr算法
積分與排名
積分 - 419547
排名 - 56
最新評(píng)論
1.?re: 一種攔截Linux原始套接字IO的方法[未登錄]
很有前途和很有錢途啊。
--chipset
2.?re: 一種攔截Linux原始套接字IO的方法[未登錄]
@chipset
是的
--春秋十二月
3.?re: 一種攔截Linux原始套接字IO的方法[未登錄]
工作是做網(wǎng)絡(luò)安全?
--chipset
4.?re: 一種使用函數(shù)指針實(shí)現(xiàn)狀態(tài)機(jī)的方法
函數(shù)指針實(shí)現(xiàn)狀態(tài)機(jī)
--linda
5.?re: 多標(biāo)簽視圖類CTabView的設(shè)計(jì)實(shí)現(xiàn)
為啥代碼缺少一些呢,給新手個(gè)完整點(diǎn)的啊
--pekingliu
6.?re: 工作線程與消息循環(huán)
從消息隊(duì)列取出消息 mark了
--mmocake
7.?re: 一種簡單的跨平臺(tái)套接字管道
評(píng)論內(nèi)容較長,點(diǎn)擊標(biāo)題查看
--IT搬運(yùn)工
8.?re: 一種簡單的跨平臺(tái)套接字管道
windows僅支持af_init和af_init6地址族有錯(cuò)別字么?
af_init和af_init6
--IT搬運(yùn)工
9.?re: Shell應(yīng)用(8):使用awk定位反匯編輸出[未登錄]
厲害
--Chipset
10.?re: TCP分組丟失時(shí)的狀態(tài)變遷
不錯(cuò)
--Binky
閱讀排行榜
1.?基于OpenSSL實(shí)現(xiàn)的安全連接(14033)
2.?字符串16進(jìn)制顯示(12900)
3.?基于boost asio實(shí)現(xiàn)的ssl socket框架(12351)
4.?Linux套接字與虛擬文件系統(tǒng)(1):初始化和創(chuàng)建(8701)
5.?關(guān)于數(shù)據(jù)庫的一些學(xué)習(xí)研究心得(8137)
6.?使用CString GetBuffer自適應(yīng)獲取計(jì)算機(jī)名稱(7992)
7.?使用正則表達(dá)式解析URL(7958)
8.?basic_string內(nèi)存泄露問題之分析解決(7767)
9.?Shell應(yīng)用(4): 使用sed刪除行尾的^M字符(7700)
10.?nginx iocp(1):tcp異步連接(7671)
評(píng)論排行榜
1.?basic_string內(nèi)存泄露問題之分析解決(19)
2.?求單向鏈表倒序第m個(gè)元素(11)
3.?基于順序存儲(chǔ)實(shí)現(xiàn)的多叉樹(1):深度優(yōu)先存儲(chǔ)(9)
4.?字符大小寫轉(zhuǎn)換(7)
5.?字符串16進(jìn)制顯示(6)
6.?面向?qū)ο箧i框架的設(shè)計(jì)與實(shí)現(xiàn)(6)
7.?Shell應(yīng)用(4): 使用sed刪除行尾的^M字符(5)
8.?使用正則表達(dá)式解析URL(5)
9.?工作線程與消息循環(huán)(5)
10.?十進(jìn)制整數(shù)千位分隔符(4)
Powered by:
博客園
模板提供:
滬江博客
Copyright ©2025 春秋十二月
久久久久久夜精品精品免费啦
|
久久精品国产网红主播
|
国产福利电影一区二区三区久久老子无码午夜伦不
|
久久久久久国产精品免费免费
|
欧美久久综合性欧美
|
久久夜色精品国产亚洲av
|
亚洲色欲久久久综合网东京热
|
久久精品成人免费看
|
青青草国产97免久久费观看
|
国产精品一久久香蕉产线看
|
美女久久久久久
|
热久久国产精品
|
人妻无码中文久久久久专区
|
久久久久国色AV免费看图片
|
久久精品国产久精国产思思
|
亚洲а∨天堂久久精品
|
久久青草国产手机看片福利盒子
|
国产99久久久国产精免费
|
久久久无码人妻精品无码
|
一级做a爰片久久毛片免费陪
|
国内精品久久久久影院老司
|
99久久精品国产综合一区
|
久久久久亚洲Av无码专
|
国产69精品久久久久观看软件
|
久久久久亚洲?V成人无码
|
久久国产乱子精品免费女
|
久久午夜伦鲁片免费无码
|
日韩精品久久久肉伦网站
|
区亚洲欧美一级久久精品亚洲精品成人网久久久久
|
亚洲乱码日产精品a级毛片久久
|
亚洲国产二区三区久久
|
亚洲欧洲日产国码无码久久99
|
亚洲欧美国产精品专区久久
|
91精品日韩人妻无码久久不卡
|
久久99国内精品自在现线
|
久久久一本精品99久久精品88
|
伊人久久大香线蕉综合影院首页
|
欧美精品福利视频一区二区三区久久久精品
|
久久精品国产精品青草app
|
色综合久久精品中文字幕首页
|
久久精品一区二区
|