28個(gè)Unix/Linux的命令行神器
摘要: dstat & sar
iostat, vmstat, ifstat 三合一的工具，用來(lái)查看系統(tǒng)性能（我在《性能調(diào)優(yōu)攻略》中提到過(guò)那三個(gè)xxstat工具）。
slurm
查看網(wǎng)絡(luò)流量的一個(gè)工具
閱讀全文
hadoop分析之二元數(shù)據(jù)備份方案的機(jī)制（轉(zhuǎn)載）
摘要: 1、NameNode啟動(dòng)加載元數(shù)據(jù)情景分析
NameNode函數(shù)里調(diào)用FSNamesystemm讀取dfs.namenode.name.dir和dfs.namenode.edits.dir構(gòu)建FSDirectory。
FSImage類recoverTransitionRead和saveNameSpace分別實(shí)現(xiàn)了元數(shù)據(jù)的檢查、加載、內(nèi)存合并和元數(shù)據(jù)的持久化存儲(chǔ)。
saveNameSpace將元數(shù)據(jù)寫入到磁盤，具體操作步驟：首先將current目錄重命名為lastcheckpoint.tmp;然后在創(chuàng)建新的current目錄，并保存文件；最后將lastcheckpoint.tmp重命名為privios.checkpoint.
checkPoint的過(guò)程：Secondary NameNode會(huì)通知nameNode產(chǎn)生一個(gè)edit log文件edits.new，之后所有的日志操作寫入到edits.new文件中。接下來(lái)Secondary NameNode會(huì)從namenode下載fsimage和edits文件，進(jìn)行合并產(chǎn)生新的fsimage.ckpt;然后Seco
閱讀全文
hadoop分析之一HDFS元數(shù)據(jù)解析（轉(zhuǎn)載）
摘要: 1、元數(shù)據(jù)（Metadata）：維護(hù)HDFS文件系統(tǒng)中文件和目錄的信息，分為內(nèi)存元數(shù)據(jù)和元數(shù)據(jù)文件兩種。NameNode維護(hù)整個(gè)元數(shù)據(jù)。
閱讀全文