• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            那誰的技術博客

            感興趣領域:高性能服務器編程,存儲,算法,Linux內核
            隨筆 - 210, 文章 - 0, 評論 - 1183, 引用 - 0
            數據加載中……

            tokyocabinet1.4.19閱讀筆記(五)hash數據庫插入數據流程

            有了前面的基礎,本節講解插入數據的流程.

            插入數據的實現代碼,在函數tchdbputimpl中,首先這個函數會查找要插入記錄的key是否已經存在,如果存在了,有很多case需要處理,在這里就不一一關注了,僅關注缺省的行為:如果key已經存在,那么覆蓋原來的記錄.否則,就插入新的記錄.

            所以,這里僅關注最簡單的兩種情況:如果存在就覆蓋,如果不存在則插入新的記錄.

            1) 覆蓋原記錄
            這里又區分兩種情況:
            a) 原有記錄的尺寸不夠插入新的記錄,比如原有的記錄是10個字節,但是新的記錄需要20字節.這時候,首先會去調用上一節提到的tchdbfbpsplice 函數去嘗試著合并該記錄鄰近的空閑記錄形成一個更大尺寸的記錄塊,上一節中沒有仔細說明這個函數.tchdbfbpsplice 的偽碼大致如下:
            當還有空閑塊可以合并
                   繼續合并空閑塊
            如果合并之后的尺寸仍然不能滿足要求,返回false
            如果合并之后的尺寸大于所要求尺寸的兩倍
                   將多余的部分寫入合適的freepool中
            返回true,表示找到合適的塊
            所以,假如合并成功有足夠的尺寸,那么就直接將新的記錄寫入就好了.
            否則,如果不能夠滿足又合并不到更大的塊,則會將原先的記錄塊首先寫入到freepool中(tchdbwritefb函數 ),接著直接在當前的freepool中查找合適的塊(tchdbfbpsearch函數),如果找到合適的塊,那么也寫入新的記錄即可.否則,上面的合并和查找空閑塊的操作都失敗了,則需要增加數據庫文件的尺寸插入新的記錄了.

            b) 原有記錄足夠插入新的記錄
            這種情況下,還要判斷舊的尺寸對于新的記錄是不是過大了,過大的話也需要調整.

            2) 新增新的記錄
            這種情況的處理很簡單了,可以看作是上面的情況a)的一種情況,即接著直接在當前的freepool中查找合適的塊(tchdbfbpsearch函數),如果找到合適的塊,那么也寫入新的記錄即可.否則,則需要增加數據庫文件的尺寸插入新的記錄了.

            注意,在上面的查找freepool過程中,如果失敗的話,將增加一個計數,當這個計數大于一個值時,將對整個freepool做一個調整,調整算法前一節已經提及.

            以上,就是插入新紀錄的兩種最簡單情況的流程,如果對之前的freepool管理很清楚的話,理解起來不是難事,因為插入新的記錄主要還是考慮如何回收利用原有的空閑塊罷了.




            posted on 2010-01-25 23:21 那誰 閱讀(6997) 評論(4)  編輯 收藏 引用 所屬分類: tokyo cabinet

            評論

            # re: tokyocabinet1.4.19閱讀筆記(五)hash數據庫插入數據流程  回復  更多評論   

            ·空閑塊池默認1024個,超過1024怎么辦?
            ·空閑塊池中的按位置排序和按大小排序的實現和目的是什么?
            我讀源碼的時候這部分還沒搞懂,有什么心得可以交流下!
            :-)
            2010-01-27 12:58 | 阿福

            # re: tokyocabinet1.4.19閱讀筆記(五)hash數據庫插入數據流程  回復  更多評論   

            @阿福
            當當前freepool超過一定數量時,會進行merge操作進行整理。

            按位置排序是為了merge合并方便。
            按尺寸排序是為了根據所要求的尺寸進行二分查找方便。
            這兩點前面一節都有提到。

            2010-01-29 12:21 | 那誰

            # re: tokyocabinet1.4.19閱讀筆記(五)hash數據庫插入數據流程  回復  更多評論   

            感覺對freepool這塊的設計并不是很好,首先它是定量的,這樣很容易出現超過且又無法合并的情況。不過它這樣設計確保查找 free 塊的速度。

            此外不知tc在設計時是否采用了“對齊”或 block 的作法,這樣對于長短相差不多的存取有點優勢,雖然浪費了點空間。


            2010-02-01 23:36 | hightman

            # re: tokyocabinet1.4.19閱讀筆記(五)hash數據庫插入數據流程  回復  更多評論   

            tchdbputimpl函數里面
            rec.rsiz = hdb->ba64 ? sizeof(uint8_t) * 2 + sizeof(uint64_t) * 2 + sizeof(uint16_t) :
            sizeof(uint8_t) * 2 + sizeof(uint32_t) * 2 + sizeof(uint16_t);
            if(ksiz < (1U << 7)){
            rec.rsiz += 1;
            } else if(ksiz < (1U << 14)){
            rec.rsiz += 2;
            } else if(ksiz < (1U << 21)){
            rec.rsiz += 3;
            } else if(ksiz < (1U << 28)){
            rec.rsiz += 4;
            } else {
            rec.rsiz += 5;
            }
            if(vsiz < (1U << 7)){
            rec.rsiz += 1;
            } else if(vsiz < (1U << 14)){
            rec.rsiz += 2;
            } else if(vsiz < (1U << 21)){
            rec.rsiz += 3;
            } else if(vsiz < (1U << 28)){
            rec.rsiz += 4;
            } else {
            rec.rsiz += 5;
            }
            if(!tchdbfbpsearch(hdb, &rec)){
            HDBUNLOCKDB(hdb);
            return false;
            }
            rec.hash = hash;
            rec.left = 0;
            rec.right = 0;
            rec.ksiz = ksiz;
            rec.vsiz = vsiz;
            rec.psiz = 0;
            rec.kbuf = kbuf;
            rec.vbuf = vbuf;
            if(!tchdbwriterec(hdb, &rec, bidx, entoff)){
            HDBUNLOCKDB(hdb);
            return false;
            }
            這段程序進行tchdbfbpsearch之前rec.rsiz應該不是記錄的總長度吧,還應該要加上ksiz和vsiz吧,代碼改為
            rec.rsiz = hdb->ba64 ? sizeof(uint8_t) * 2 + sizeof(uint64_t) * 2 + sizeof(uint16_t) :
            sizeof(uint8_t) * 2 + sizeof(uint32_t) * 2 + sizeof(uint16_t);
            if(ksiz < (1U << 7)){
            rec.rsiz += 1;
            } else if(ksiz < (1U << 14)){
            rec.rsiz += 2;
            } else if(ksiz < (1U << 21)){
            rec.rsiz += 3;
            } else if(ksiz < (1U << 28)){
            rec.rsiz += 4;
            } else {
            rec.rsiz += 5;
            }
            if(vsiz < (1U << 7)){
            rec.rsiz += 1;
            } else if(vsiz < (1U << 14)){
            rec.rsiz += 2;
            } else if(vsiz < (1U << 21)){
            rec.rsiz += 3;
            } else if(vsiz < (1U << 28)){
            rec.rsiz += 4;
            } else {
            rec.rsiz += 5;
            }

            //此處添加代碼
            rec.rsiz += ksiz+vsiz

            if(!tchdbfbpsearch(hdb, &rec)){
            HDBUNLOCKDB(hdb);
            return false;
            }
            rec.hash = hash;
            rec.left = 0;
            rec.right = 0;
            rec.ksiz = ksiz;
            rec.vsiz = vsiz;
            rec.psiz = 0;
            rec.kbuf = kbuf;
            rec.vbuf = vbuf;
            if(!tchdbwriterec(hdb, &rec, bidx, entoff)){
            HDBUNLOCKDB(hdb);
            return false;
            }


            還是我理解有誤啊,求指教
            2015-01-15 21:14 | hm
            久久久久久伊人高潮影院| 久久国产精品免费一区二区三区| 亚洲性久久久影院| 日韩欧美亚洲综合久久| 人妻精品久久久久中文字幕69| 欧美黑人激情性久久| 久久噜噜电影你懂的| 久久久久久无码国产精品中文字幕 | 国产精品久久久久久久久鸭| 国产精品99久久精品| 久久99精品久久久久久9蜜桃| 久久久久一本毛久久久| 亚洲狠狠婷婷综合久久久久| 国产精品岛国久久久久| 久久亚洲中文字幕精品一区四| 久久成人国产精品免费软件| 久久久青草青青亚洲国产免观| 久久毛片免费看一区二区三区| 久久亚洲精品成人AV| 欧洲性大片xxxxx久久久| 久久青青草原精品国产| 理论片午午伦夜理片久久 | 亚洲欧美国产精品专区久久| 精品无码久久久久国产| 2020久久精品亚洲热综合一本| 一级做a爰片久久毛片人呢| 亚洲va久久久噜噜噜久久| 亚洲国产成人久久综合一区77 | 久久久久亚洲AV成人网人人网站 | 成人国内精品久久久久一区| 婷婷久久综合九色综合九七| 久久精品一区二区| 99久久婷婷免费国产综合精品| 亚洲综合日韩久久成人AV| 青青青青久久精品国产h久久精品五福影院1421| 久久久久久精品成人免费图片| 久久国产成人午夜AV影院| 99久久精品国产综合一区| 久久精品成人免费看| 久久久久久a亚洲欧洲aⅴ| 国内精品久久久久影院免费|