• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            那誰(shuí)的技術(shù)博客

            感興趣領(lǐng)域:高性能服務(wù)器編程,存儲(chǔ),算法,Linux內(nèi)核
            隨筆 - 210, 文章 - 0, 評(píng)論 - 1183, 引用 - 0
            數(shù)據(jù)加載中……

            tokyocabinet1.4.19閱讀筆記(五)hash數(shù)據(jù)庫(kù)插入數(shù)據(jù)流程

            有了前面的基礎(chǔ),本節(jié)講解插入數(shù)據(jù)的流程.

            插入數(shù)據(jù)的實(shí)現(xiàn)代碼,在函數(shù)tchdbputimpl中,首先這個(gè)函數(shù)會(huì)查找要插入記錄的key是否已經(jīng)存在,如果存在了,有很多case需要處理,在這里就不一一關(guān)注了,僅關(guān)注缺省的行為:如果key已經(jīng)存在,那么覆蓋原來(lái)的記錄.否則,就插入新的記錄.

            所以,這里僅關(guān)注最簡(jiǎn)單的兩種情況:如果存在就覆蓋,如果不存在則插入新的記錄.

            1) 覆蓋原記錄
            這里又區(qū)分兩種情況:
            a) 原有記錄的尺寸不夠插入新的記錄,比如原有的記錄是10個(gè)字節(jié),但是新的記錄需要20字節(jié).這時(shí)候,首先會(huì)去調(diào)用上一節(jié)提到的tchdbfbpsplice 函數(shù)去嘗試著合并該記錄鄰近的空閑記錄形成一個(gè)更大尺寸的記錄塊,上一節(jié)中沒(méi)有仔細(xì)說(shuō)明這個(gè)函數(shù).tchdbfbpsplice 的偽碼大致如下:
            當(dāng)還有空閑塊可以合并
                   繼續(xù)合并空閑塊
            如果合并之后的尺寸仍然不能滿足要求,返回false
            如果合并之后的尺寸大于所要求尺寸的兩倍
                   將多余的部分寫(xiě)入合適的freepool中
            返回true,表示找到合適的塊
            所以,假如合并成功有足夠的尺寸,那么就直接將新的記錄寫(xiě)入就好了.
            否則,如果不能夠滿足又合并不到更大的塊,則會(huì)將原先的記錄塊首先寫(xiě)入到freepool中(tchdbwritefb函數(shù) ),接著直接在當(dāng)前的freepool中查找合適的塊(tchdbfbpsearch函數(shù)),如果找到合適的塊,那么也寫(xiě)入新的記錄即可.否則,上面的合并和查找空閑塊的操作都失敗了,則需要增加數(shù)據(jù)庫(kù)文件的尺寸插入新的記錄了.

            b) 原有記錄足夠插入新的記錄
            這種情況下,還要判斷舊的尺寸對(duì)于新的記錄是不是過(guò)大了,過(guò)大的話也需要調(diào)整.

            2) 新增新的記錄
            這種情況的處理很簡(jiǎn)單了,可以看作是上面的情況a)的一種情況,即接著直接在當(dāng)前的freepool中查找合適的塊(tchdbfbpsearch函數(shù)),如果找到合適的塊,那么也寫(xiě)入新的記錄即可.否則,則需要增加數(shù)據(jù)庫(kù)文件的尺寸插入新的記錄了.

            注意,在上面的查找freepool過(guò)程中,如果失敗的話,將增加一個(gè)計(jì)數(shù),當(dāng)這個(gè)計(jì)數(shù)大于一個(gè)值時(shí),將對(duì)整個(gè)freepool做一個(gè)調(diào)整,調(diào)整算法前一節(jié)已經(jīng)提及.

            以上,就是插入新紀(jì)錄的兩種最簡(jiǎn)單情況的流程,如果對(duì)之前的freepool管理很清楚的話,理解起來(lái)不是難事,因?yàn)椴迦胄碌挠涗浿饕€是考慮如何回收利用原有的空閑塊罷了.




            posted on 2010-01-25 23:21 那誰(shuí) 閱讀(7003) 評(píng)論(4)  編輯 收藏 引用 所屬分類: tokyo cabinet

            評(píng)論

            # re: tokyocabinet1.4.19閱讀筆記(五)hash數(shù)據(jù)庫(kù)插入數(shù)據(jù)流程  回復(fù)  更多評(píng)論   

            ·空閑塊池默認(rèn)1024個(gè),超過(guò)1024怎么辦?
            ·空閑塊池中的按位置排序和按大小排序的實(shí)現(xiàn)和目的是什么?
            我讀源碼的時(shí)候這部分還沒(méi)搞懂,有什么心得可以交流下!
            :-)
            2010-01-27 12:58 | 阿福

            # re: tokyocabinet1.4.19閱讀筆記(五)hash數(shù)據(jù)庫(kù)插入數(shù)據(jù)流程  回復(fù)  更多評(píng)論   

            @阿福
            當(dāng)當(dāng)前freepool超過(guò)一定數(shù)量時(shí),會(huì)進(jìn)行merge操作進(jìn)行整理。

            按位置排序是為了merge合并方便。
            按尺寸排序是為了根據(jù)所要求的尺寸進(jìn)行二分查找方便。
            這兩點(diǎn)前面一節(jié)都有提到。

            2010-01-29 12:21 | 那誰(shuí)

            # re: tokyocabinet1.4.19閱讀筆記(五)hash數(shù)據(jù)庫(kù)插入數(shù)據(jù)流程  回復(fù)  更多評(píng)論   

            感覺(jué)對(duì)freepool這塊的設(shè)計(jì)并不是很好,首先它是定量的,這樣很容易出現(xiàn)超過(guò)且又無(wú)法合并的情況。不過(guò)它這樣設(shè)計(jì)確保查找 free 塊的速度。

            此外不知tc在設(shè)計(jì)時(shí)是否采用了“對(duì)齊”或 block 的作法,這樣對(duì)于長(zhǎng)短相差不多的存取有點(diǎn)優(yōu)勢(shì),雖然浪費(fèi)了點(diǎn)空間。


            2010-02-01 23:36 | hightman

            # re: tokyocabinet1.4.19閱讀筆記(五)hash數(shù)據(jù)庫(kù)插入數(shù)據(jù)流程  回復(fù)  更多評(píng)論   

            tchdbputimpl函數(shù)里面
            rec.rsiz = hdb->ba64 ? sizeof(uint8_t) * 2 + sizeof(uint64_t) * 2 + sizeof(uint16_t) :
            sizeof(uint8_t) * 2 + sizeof(uint32_t) * 2 + sizeof(uint16_t);
            if(ksiz < (1U << 7)){
            rec.rsiz += 1;
            } else if(ksiz < (1U << 14)){
            rec.rsiz += 2;
            } else if(ksiz < (1U << 21)){
            rec.rsiz += 3;
            } else if(ksiz < (1U << 28)){
            rec.rsiz += 4;
            } else {
            rec.rsiz += 5;
            }
            if(vsiz < (1U << 7)){
            rec.rsiz += 1;
            } else if(vsiz < (1U << 14)){
            rec.rsiz += 2;
            } else if(vsiz < (1U << 21)){
            rec.rsiz += 3;
            } else if(vsiz < (1U << 28)){
            rec.rsiz += 4;
            } else {
            rec.rsiz += 5;
            }
            if(!tchdbfbpsearch(hdb, &rec)){
            HDBUNLOCKDB(hdb);
            return false;
            }
            rec.hash = hash;
            rec.left = 0;
            rec.right = 0;
            rec.ksiz = ksiz;
            rec.vsiz = vsiz;
            rec.psiz = 0;
            rec.kbuf = kbuf;
            rec.vbuf = vbuf;
            if(!tchdbwriterec(hdb, &rec, bidx, entoff)){
            HDBUNLOCKDB(hdb);
            return false;
            }
            這段程序進(jìn)行tchdbfbpsearch之前rec.rsiz應(yīng)該不是記錄的總長(zhǎng)度吧,還應(yīng)該要加上ksiz和vsiz吧,代碼改為
            rec.rsiz = hdb->ba64 ? sizeof(uint8_t) * 2 + sizeof(uint64_t) * 2 + sizeof(uint16_t) :
            sizeof(uint8_t) * 2 + sizeof(uint32_t) * 2 + sizeof(uint16_t);
            if(ksiz < (1U << 7)){
            rec.rsiz += 1;
            } else if(ksiz < (1U << 14)){
            rec.rsiz += 2;
            } else if(ksiz < (1U << 21)){
            rec.rsiz += 3;
            } else if(ksiz < (1U << 28)){
            rec.rsiz += 4;
            } else {
            rec.rsiz += 5;
            }
            if(vsiz < (1U << 7)){
            rec.rsiz += 1;
            } else if(vsiz < (1U << 14)){
            rec.rsiz += 2;
            } else if(vsiz < (1U << 21)){
            rec.rsiz += 3;
            } else if(vsiz < (1U << 28)){
            rec.rsiz += 4;
            } else {
            rec.rsiz += 5;
            }

            //此處添加代碼
            rec.rsiz += ksiz+vsiz

            if(!tchdbfbpsearch(hdb, &rec)){
            HDBUNLOCKDB(hdb);
            return false;
            }
            rec.hash = hash;
            rec.left = 0;
            rec.right = 0;
            rec.ksiz = ksiz;
            rec.vsiz = vsiz;
            rec.psiz = 0;
            rec.kbuf = kbuf;
            rec.vbuf = vbuf;
            if(!tchdbwriterec(hdb, &rec, bidx, entoff)){
            HDBUNLOCKDB(hdb);
            return false;
            }


            還是我理解有誤啊,求指教
            2015-01-15 21:14 | hm
            婷婷久久综合| 中文字幕久久精品| 久久精品国产99国产精偷| 久久精品国产亚洲AV大全| 色噜噜狠狠先锋影音久久| 开心久久婷婷综合中文字幕| 亚洲精品无码专区久久同性男| 午夜人妻久久久久久久久| 久久久久久国产a免费观看不卡 | 综合网日日天干夜夜久久| 狠狠色丁香久久综合婷婷| 少妇久久久久久久久久| 99久久国产亚洲高清观看2024| 久久se这里只有精品| 亚洲日韩欧美一区久久久久我| 精品久久人妻av中文字幕| 伊人 久久 精品| 99久久精品九九亚洲精品| 亚洲精品蜜桃久久久久久| 久久99精品久久久久久秒播| 久久久久亚洲精品无码蜜桃| 欧美一级久久久久久久大片| 久久精品嫩草影院| 日本久久久久亚洲中字幕| 久久久受www免费人成| 久久久久久午夜成人影院| 狠狠色丁香久久婷婷综合_中| 久久久不卡国产精品一区二区| 亚洲AV无码久久精品蜜桃| 一级女性全黄久久生活片免费| 国产L精品国产亚洲区久久| 久久久无码人妻精品无码| 一本一本久久A久久综合精品 | 国产精品一区二区久久精品无码 | 久久99精品国产麻豆| 久久精品成人欧美大片| 色偷偷91久久综合噜噜噜噜| 99久久99久久精品国产| 麻豆精品久久精品色综合| 青青青伊人色综合久久| 国产日韩久久久精品影院首页|