hadoop分析之二元數(shù)據(jù)備份方案的機制（轉(zhuǎn)載）
摘要: 1、NameNode啟動加載元數(shù)據(jù)情景分析
NameNode函數(shù)里調(diào)用FSNamesystemm讀取dfs.namenode.name.dir和dfs.namenode.edits.dir構(gòu)建FSDirectory。
FSImage類recoverTransitionRead和saveNameSpace分別實現(xiàn)了元數(shù)據(jù)的檢查、加載、內(nèi)存合并和元數(shù)據(jù)的持久化存儲。
saveNameSpace將元數(shù)據(jù)寫入到磁盤，具體操作步驟：首先將current目錄重命名為lastcheckpoint.tmp;然后在創(chuàng)建新的current目錄，并保存文件；最后將lastcheckpoint.tmp重命名為privios.checkpoint.
checkPoint的過程：Secondary NameNode會通知nameNode產(chǎn)生一個edit log文件edits.new，之后所有的日志操作寫入到edits.new文件中。接下來Secondary NameNode會從namenode下載fsimage和edits文件，進行合并產(chǎn)生新的fsimage.ckpt;然后Seco
閱讀全文
posted @
2013-05-24 15:29 王海光 閱讀(486) |
評論 (0) 編輯
hadoop分析之一HDFS元數(shù)據(jù)解析（轉(zhuǎn)載）
摘要: 1、元數(shù)據(jù)（Metadata）：維護HDFS文件系統(tǒng)中文件和目錄的信息，分為內(nèi)存元數(shù)據(jù)和元數(shù)據(jù)文件兩種。NameNode維護整個元數(shù)據(jù)。
閱讀全文
posted @
2013-05-24 15:18 王海光 閱讀(1033) |
評論 (0) 編輯