28個Unix/Linux的命令行神器
摘要: dstat & sar
iostat, vmstat, ifstat 三合一的工具，用來查看系統(tǒng)性能（我在《性能調(diào)優(yōu)攻略》中提到過那三個xxstat工具）。
slurm
查看網(wǎng)絡(luò)流量的一個工具
閱讀全文
posted @
2013-12-06 17:32 王海光 閱讀(687) |
評論 (0) 編輯
hadoop分析之二元數(shù)據(jù)備份方案的機(jī)制（轉(zhuǎn)載）
摘要: 1、NameNode啟動加載元數(shù)據(jù)情景分析
NameNode函數(shù)里調(diào)用FSNamesystemm讀取dfs.namenode.name.dir和dfs.namenode.edits.dir構(gòu)建FSDirectory。
FSImage類recoverTransitionRead和saveNameSpace分別實現(xiàn)了元數(shù)據(jù)的檢查、加載、內(nèi)存合并和元數(shù)據(jù)的持久化存儲。
saveNameSpace將元數(shù)據(jù)寫入到磁盤，具體操作步驟：首先將current目錄重命名為lastcheckpoint.tmp;然后在創(chuàng)建新的current目錄，并保存文件；最后將lastcheckpoint.tmp重命名為privios.checkpoint.
checkPoint的過程：Secondary NameNode會通知nameNode產(chǎn)生一個edit log文件edits.new，之后所有的日志操作寫入到edits.new文件中。接下來Secondary NameNode會從namenode下載fsimage和edits文件，進(jìn)行合并產(chǎn)生新的fsimage.ckpt;然后Seco
閱讀全文
posted @
2013-05-24 15:29 王海光 閱讀(494) |
評論 (0) 編輯
hadoop分析之一HDFS元數(shù)據(jù)解析（轉(zhuǎn)載）
摘要: 1、元數(shù)據(jù)（Metadata）：維護(hù)HDFS文件系統(tǒng)中文件和目錄的信息，分為內(nèi)存元數(shù)據(jù)和元數(shù)據(jù)文件兩種。NameNode維護(hù)整個元數(shù)據(jù)。
閱讀全文
posted @
2013-05-24 15:18 王海光 閱讀(1038) |
評論 (0) 編輯