• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            posts - 15, comments - 10, trackbacks - 0, articles - 0

            此處的KFS是指Kosmos distributed file system,代碼位于http://sourceforge.net/projects/kosmosfs/,之后會寫幾篇相關(guān)的文章,以供后來者參考。

            KFS里Meta的內(nèi)存結(jié)構(gòu)主要是一棵B+樹,保存在內(nèi)存里,具體分析如下:

            B-樹,B+樹的定義

            關(guān)于這些樹的定義,最好還是參考算法導(dǎo)論等經(jīng)典書,網(wǎng)路上的信息有些不是很準(zhǔn)確,為了方便大家還是貼一個(gè)鏈接:

            http://www.cnblogs.com/oldhorse/archive/2009/11/16/1604009.html

            KFS為何選用B+樹而非B樹?

            這是我個(gè)人的理解:

            雖然B樹可以在非葉子節(jié)點(diǎn)命中,會縮短一些平均查找長度,但是B+樹在這種應(yīng)用一個(gè)優(yōu)勢就是每個(gè)節(jié)點(diǎn)都有指向next節(jié)點(diǎn)的指針,對于范圍查詢或者遍歷操作很適合。對于文件系統(tǒng)的一個(gè)ls某個(gè)子目錄的需求,用B+樹可以較高效的解決。

            KFSB+樹的類圖


            MetaNode
            base class for both internal and leaf nodes

            Metabase class for data objects (leaf nodes)

            Nodean internal node in the KFS search tree

            MetaChunkInfochunk information for a given file offset

            MetaDentry Directory entry, mapping a file name to a file id

            MetaFattrFile or directory attributes

            各節(jié)點(diǎn)的介紹

            1Meta類是子節(jié)點(diǎn)的父類,其最主要的成員變量是fid

            有三個(gè)葉子節(jié)點(diǎn):MetaChunkInfo,MetaDentry,MetaFattr

            2MetaDentry實(shí)現(xiàn)從文件名到fid的映射,對于每個(gè)文件(目錄)都擁有1個(gè)MetaDentry

            成員變量包括:

            dir:文件父目錄的fid

            namedentry的名稱,實(shí)際就是文件名

            3MetaFattr實(shí)現(xiàn)從fid到文件屬性的映射,對于每個(gè)文件(目錄)都擁有一個(gè)MetaFattr。

            成員變量包括:

            Type:文件還是目錄

            numReplicas:文件有幾份副本

            mtime:修改時(shí)間

            ctime:屬性修改時(shí)間

            crtime:文件創(chuàng)建時(shí)間

            chunkcount:連續(xù)的chunk數(shù)目

            filesize:文件大小

            nextChunkOffset:最后一個(gè)chunk在文件的所處的offset

            mode_t mode:文件屬性(rwx位)

            key:由KFS_FATTRfid來構(gòu)成,可以通過fid直接找到保存文件屬性的節(jié)點(diǎn)。

            4MetaChunkInfo標(biāo)志某個(gè)文件對應(yīng)的chunk信息,如果一個(gè)文件包含多個(gè)chunk,那么需要有多個(gè)MetaChunkInfo

            成員變量包括:

            offsetchunk在文件中的偏移量,因?yàn)橐粋€(gè)文件可能由多個(gè)chunk組成

            chunkIdchunkid

            chunkVersionchunkversion

            5Node實(shí)現(xiàn)的是B+樹的內(nèi)部節(jié)點(diǎn),這種節(jié)點(diǎn)僅僅作為索引用途,存儲實(shí)際元數(shù)據(jù)信息的節(jié)點(diǎn)位于最底部的葉子節(jié)點(diǎn)。

            成員變量包括:

            NKEY = 32:每個(gè)節(jié)點(diǎn)最多擁有的關(guān)鍵字?jǐn)?shù)目,實(shí)際上也就是最多擁有的子節(jié)點(diǎn)數(shù)目,如果多余這個(gè)值節(jié)點(diǎn)進(jìn)行分裂

            NSPLIT = NKEY / 2:分裂之后每個(gè)節(jié)點(diǎn)的關(guān)鍵字?jǐn)?shù)目

            NFEWEST = NKEY - NSPLIT:每個(gè)節(jié)點(diǎn)最少擁有的關(guān)鍵字?jǐn)?shù)目,如果少于這個(gè)值兩個(gè)節(jié)點(diǎn)進(jìn)行合并

            count:節(jié)點(diǎn)實(shí)際擁有的關(guān)鍵字?jǐn)?shù)目

            Key childKey[NKEY]:節(jié)點(diǎn)存儲的關(guān)鍵字列表

            MetaNode *childNode[NKEY]:節(jié)點(diǎn)指向子節(jié)點(diǎn)的指針列表

            Node *next:指向下一個(gè)同級節(jié)點(diǎn)的指針

            實(shí)際上每個(gè)內(nèi)部節(jié)點(diǎn)的階數(shù)為32,可以有32個(gè)子節(jié)點(diǎn),而每個(gè)葉子節(jié)點(diǎn)只保存一個(gè)key值。

            三類子節(jié)點(diǎn)在B+樹中如何分布?

            可以想象,必定是將同一類的節(jié)點(diǎn)聚集在一起。因此對于排序函數(shù)就是先比較節(jié)點(diǎn)類型,然后再對節(jié)點(diǎn)內(nèi)部的成員變量進(jìn)行比較。MetaDentry是根據(jù)dir(父目錄的id),MetaFattr是根據(jù)fid,MetaChunkInfo是根據(jù)idchunkId來排序。

            一個(gè)不太相關(guān)的思考

            看上面的三類子節(jié)點(diǎn),我們可以發(fā)現(xiàn)chunk的位置信息并沒有保存在B+樹里,它是單獨(dú)保存在一個(gè)Map數(shù)據(jù)結(jié)構(gòu)里的,也不會在meta server里進(jìn)行持久化,而是每次chunk啟動時(shí)向meta server來報(bào)告。之所以不做持久化,可以這樣來理解:

            只有Chunk服務(wù)器才能最終確定一個(gè)Chunk是否在它的硬盤上。Chunk服務(wù)器的錯(cuò)誤可能會導(dǎo)致Chunk自動消失(比如,硬盤損壞了或者無法訪問了),亦或者操作人員可能會重命名一個(gè)Chunk服務(wù)器,還是由chunk server來報(bào)告比較靠譜。

            国产女人aaa级久久久级| 热久久这里只有精品| 中文成人无码精品久久久不卡 | 欧美va久久久噜噜噜久久| 久久精品久久久久观看99水蜜桃| 亚洲中文字幕无码久久精品1| 久久精品无码专区免费青青| 成人午夜精品久久久久久久小说| 亚洲精品综合久久| 久久99国产综合精品女同| 久久99亚洲综合精品首页| 亚洲AV日韩精品久久久久久| 国产免费福利体检区久久| 精品国产日韩久久亚洲| 麻豆精品久久精品色综合| 77777亚洲午夜久久多喷| 亚洲午夜精品久久久久久人妖| 久久婷婷国产剧情内射白浆| 久久精品成人免费网站| 18岁日韩内射颜射午夜久久成人| 看全色黄大色大片免费久久久| 久久99精品久久只有精品 | 少妇久久久久久被弄到高潮| 亚洲精品美女久久久久99| 久久免费国产精品| 国内精品久久久久久久coent| 国内精品久久久久久99蜜桃 | 伊人久久大香线焦AV综合影院| 精品久久久久久无码国产| 久久se精品一区精品二区| 久久不见久久见免费视频7| 亚洲中文字幕无码久久2020| 久久精品成人欧美大片| 久久这里只有精品首页| 久久久黄色大片| 久久亚洲熟女cc98cm| 久久久这里有精品| 97久久婷婷五月综合色d啪蜜芽| 久久精品国产99国产精品导航 | 一本大道久久东京热无码AV| 日本加勒比久久精品|