青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

loop_in_codes

低調做技術__歡迎移步我的獨立博客 codemaro.com 微博 kevinlynx

使用RCU技術實現讀寫線程無鎖

在一個系統中有一個寫線程和若干個讀線程,讀寫線程通過一個指針共用了一個數據結構,寫線程改寫這個結構,讀線程讀取該結構。在寫線程改寫這個數據結構的過程中,加鎖情況下讀線程由于等待鎖耗時會增加。

可以利用RCU (Read Copy Update What is rcu)的思想來去除這個鎖。本文提到的主要實現代碼:gist

RCU

RCU可以說是一種替代讀寫鎖的方法。其基于一個事實:當寫線程在改變一個指針時,讀線程獲取這個指針,要么獲取到老的值,要么獲取到新的值。RCU的基本思想其實很簡單,參考What is RCU中Toy implementation可以很容易理解。一種簡單的RCU流程可以描述為:

寫線程:

old_ptr = _ptr
tmp_ptr = copy(_ptr)     // copy
change(tmp_ptr)          // change 
_ptr = tmp_ptr           // update
synchroize(tmp_ptr)

寫線程要更新_ptr指向的內容時,先復制一份新的,基于新的進行改變,更新_ptr指針,最后同步釋放老的內存。

讀線程:

tmp_ptr = _ptr
use(tmp_ptr)
dereference(tmp_ptr)

讀線程直接使用_ptr,使用完后需要告訴寫線程自己不再使用_ptr。讀線程獲取_ptr時,可能會獲取到老的也可能獲取到新的,無論哪種RCU都需要保證這塊內存是有效的。重點在synchroizedereferencesynchroize會等待所有使用老的_ptr的線程dereference,對于新的_ptr使用者其不需要等待。這個問題說白了就是寫線程如何知道old_ptr沒有任何讀線程在使用,可以安全地釋放。

這個問題實際上在wait-free的各種實現中有好些解法,how-when-to-release-memory-in-wait-free-algorithms這里有人總結了幾種方法,例如Hazard pointersQuiescence period based reclamation

簡單地使用引用計數智能指針是無法解決這個問題的,因為智能指針自己不是線程安全的,例如:

tmp_ptr = _ptr      // 1
tmp_ptr->addRef()   // 2
use
tmp_ptr->release()

代碼1/2行不是原子的,所以當取得tmp_ptr準備addRef時,tmp_ptr可能剛好被釋放了。

Quiescence period based reclamation方法指的是讀線程需要聲明自己處于Quiescence period,也就是不使用_ptr的時候,當其使用_ptr的時候實際是進入了一個邏輯上的臨界區,當所有讀線程都不再使用_ptr的時候,寫線程就可以對內存進行安全地釋放。

本文正是描述了一種Quiescence period based reclamation實現。這個實現可以用于有一個寫線程和多個讀線程共用若干個數據的場景。

實現

該方法本質上把數據同步分解為基本的內存單元讀寫。使用方式上可描述為:

讀線程:

tmp_ptr = _ptr
use
update() // 標識自己不再使用任何共享數據

寫線程:

old_ptr = _ptr
tmp_ptr = copy(_ptr)
change(tmp_ptr)
_ptr = tmp_ptr
gc()
defer_free(old_ptr)

以下具體描述讀寫線程的實現。

寫線程

寫線程負責標識內存需要被釋放,以及檢查何時可以真正釋放內存。其維護了一個釋放內存隊列:

void *_pending[8]
    uint64_t _head, _tail

    void defer_free(void *p) {
        _head ++
        _pending[PENDING_POS(_head)] = p
    }

    gc() {
        for (_tail -> find_free_pos())
            free(_pending[_tail])
    }

find_free_pos找到一個可釋放內存位置,在[_tail, find_free_pos())這個區間內所有內存是可以安全被釋放的。

隊列位置_head/_tail一直增大,PENDING_POS就是對這個位置取模,限定在隊列大小范圍內也是可行的,無論哪種方式,_head從邏輯上說一直>=_tail,但在實際中可能小于_tail,所以實現時不使用大小判定,而是:

gc() {
        pos = find_free_pos()
        while (_tail != pos) {
            free(_pending[PENDING_POS(_tail)])
            _tail ++
        }
    }

讀線程

讀線程不再使用共享內存時,就標識自己:

update() {
        static __thread int tid
        _tmark[tid] = _head
    }

讀線程的狀態會影響寫線程的回收邏輯,其狀態分為:

  • 初始
  • 活躍,會調用到update
  • 暫停,其他地方同步,或被掛起
  • 退出

讀線程處于活躍狀態時,它會不斷地更新自己可釋放內存位置(_tmark[tid])。寫線程檢查所有讀線程的_tmark[tid][_tail, min(_tmark[]))是所有讀線程都不再使用的內存區間,可以被安全釋放。

find_free_pos() {
        min = MAX_INTEGER
        pos = 0
        for (tid = 0; tid < max_threads; ++tid) {
            tpos = _tmark[tid]
            offset = tpos - tail
            if (offset < min) {
                min = offset
                pos = tpos
            }
        }
        return pos
    }

當讀線程暫停時,其_tmark[tid]可能會在很長一段時間里得不到更新,此時會阻礙寫線程釋放內存。所以需要方法來標識讀線程是否進入暫停狀態。通過設置一個上次釋放內存位置_tfreeds[tid],標識每個線程當前內存釋放到的位置。如果一個線程處于暫停狀態了,那么在一定時間后,_tfreeds[tid] == _tmark[tid]。在查找可釋放位置時,就需要忽略暫停狀態的讀線程:

find_free_pos() {
        min = MAX_INTEGER
        pos = _head
        for (tid = 0; tid < max_threads; ++tid) {
            tpos = _tmark[tid]
            if (tpos == _tfreeds[tid]) continue
            offset = tpos - tail
            if (offset < min) {
                min = offset
                pos = tpos
            }
        }
        for (tid = 0; tid < max_threads; ++tid) {
            if (_tfreeds[tid] != _tmark[tid]) 
                _tfreeds[tid] = pos
        }
        return pos
    }

但是當所有線程都處于暫停狀態時,寫線程可能還在工作,上面的實現就會返回_head,此時寫線程依然可以正常釋放內存。

小結,該方法原理可用下圖表示:

線程動態增加/減少

如果讀線程可能中途退出,中途動態增加,那么_tmark[]就需要被復用,此時線程tid的分配調整為動態的即可:

class ThreadIdPool {
    public:
        // 動態獲取一個線程tid,某線程每次調用該接口返回相同的值
        int get()
        // 線程退出時回收該tid
        void put(int id)
    }

ThreadIdPool的實現無非就是利用TLS,以及在線程退出時得到通知以回收tid。那么對于讀線程的update實現變為:

update() {
        tid = _idPool->get()
        _tmark[tid] = _head
    }

當某個線程退出時,_tmark[tid]_tfreeds[tid]不需要做任何處理,當新創建的線程復用了該tid時,可以立即復用_tmark[tid]_tfreeds[tid],此時這2個值必然是相等的。

以上,就是整個方法的實現。

線程可讀可寫

以上方法適用場景還是不夠通用。在nbds項目(實現了一些無鎖數據結構的toy project)中有一份雖然簡單但也有啟發的實現(rcu.c)。該實現支持任意線程defer_free,所有線程updateupdate除了聲明不再使用任何共享內存外,還可能回收內存。任意線程都可能維護一些待釋放的內存,任意一塊內存可能被任意其他線程使用。那么它是如何內存回收的?

本文描述的方法是所有讀線程自己聲明自己,然后由寫線程主動來檢查。不同于此方法, nbds的實現,基于一種通知擴散的方式。該方式以這樣一種方式工作:

當某個線程嘗試內存回收時,它需要知道所有其他線程的空閑位置(相當于_tmark[tid]),它通知下一個線程我需要釋放的范圍。當下一個線程update時(離開臨界區),它會將上個線程的通知繼續告訴下一個線程,直到最后這個通知回到發起線程。那么對于發起線程而言,這個釋放請求在所有線程中走了一遍,得到了大家的認可,可以安全釋放。每個線程都以這樣的方式工作。

void rcu_defer_free (void *x) {
        ...
        rcu_[next_thread_id][tid_] = rcu_last_posted_[tid_][tid_] = pending_[tid_]->head;
        ...
    }

    void rcu_update (void) {
        ...
        for (i = 0; i < num_threads_; ++i) {
            ...     
            uint64_t x = rcu_[tid_][i]; // 其它線程發給自己的通知
            rcu_[next_thread_id][i] = rcu_last_posted_[tid_][i] = x; // 擴散出去
            ...
        }
        ...
        while (q->tail != rcu_[tid_][tid_]) {
            free
        }     
        ...
    }

這個實現相對簡單,不支持線程暫停,以及線程動態增加和減少。

posted on 2015-04-19 19:10 Kevin Lynx 閱讀(11520) 評論(3)  編輯 收藏 引用 所屬分類: c/c++

評論

# re: 使用RCU技術實現讀寫線程無鎖[未登錄] 2015-04-22 09:22 春秋十二月

很喜歡看你的文章,這個實現在商業應用中表現如何?  回復  更多評論   

# re: 使用RCU技術實現讀寫線程無鎖 2015-04-22 18:29 Kevin Lynx

@春秋十二月
我們的一個服務有1W QPS,數據變更時latency會幾十倍波動,用了這個后latency再也不波動了  回復  更多評論   

# re: 使用RCU技術實現讀寫線程無鎖 2015-10-07 17:43 Abael

這個原子操作 ?
atomic_CAS  回復  更多評論   

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            香蕉乱码成人久久天堂爱免费| 国产精品九九久久久久久久| 中文亚洲字幕| 久久久久国内| 午夜精品视频| 欧美精品亚洲一区二区在线播放| 久久精品99久久香蕉国产色戒| 欧美精品麻豆| 亚洲国产精品女人久久久| 国产日韩在线视频| 亚洲欧美国产毛片在线| 国产精品99久久久久久宅男| 免费91麻豆精品国产自产在线观看| 欧美亚洲日本国产| 国产精品久久久久av免费| 亚洲精品一区二区在线| 亚洲麻豆av| 欧美精品久久久久久| 欧美激情精品久久久久久蜜臀 | 快射av在线播放一区| 欧美日韩免费高清| 亚洲精品麻豆| 一区二区三区日韩欧美精品| 欧美成人高清| 91久久精品www人人做人人爽| 亚洲国产精品视频一区| 久久麻豆一区二区| 免费成人在线观看视频| 在线观看精品视频| 欧美成人激情在线| 亚洲精品一线二线三线无人区| 日韩视频一区二区| 欧美日韩国产影片| 亚洲视频观看| 久久久久久精| 亚洲级视频在线观看免费1级| 男人插女人欧美| 亚洲国产一区视频| 亚洲一卡久久| 国产欧美欧洲在线观看| 欧美在线一区二区三区| 欧美99久久| 日韩视频不卡| 国产精品mv在线观看| 亚洲一区在线观看免费观看电影高清| 欧美在线观看一区| 韩日精品在线| 欧美激情1区2区3区| 99综合精品| 久久久五月婷婷| 亚洲精品久久在线| 国产精品美女| 麻豆乱码国产一区二区三区| 亚洲第一成人在线| 午夜精品一区二区三区在线视| 国产欧美日韩精品a在线观看| 久久久久久91香蕉国产| 亚洲国内欧美| 欧美在线观看日本一区| 亚洲欧洲精品成人久久奇米网 | 欧美激情一二三区| 亚洲一区二区三区久久| 免费观看久久久4p| 一本色道88久久加勒比精品| 国产精品试看| 免费日韩视频| 午夜精品福利视频| 亚洲国产人成综合网站| 久久成人精品视频| 99视频精品全部免费在线| 国产亚洲视频在线观看| 欧美日一区二区三区在线观看国产免 | 亚洲欧美一区二区三区极速播放 | 欧美吻胸吃奶大尺度电影| 久久精品72免费观看| 亚洲精品永久免费| 久久综合久久久| 亚洲欧美在线播放| 亚洲毛片在线观看.| 国产一区二区三区视频在线观看| 欧美裸体一区二区三区| 久久精品综合| 午夜精品亚洲一区二区三区嫩草| 亚洲日本成人网| 欧美高清一区| 久久深夜福利| 欧美主播一区二区三区美女 久久精品人 | 黄色欧美日韩| 国产精品社区| 国产精品成人一区二区网站软件 | 欧美激情第1页| 久久精品麻豆| 午夜精品理论片| 夜夜嗨av色综合久久久综合网| 欧美国产日韩精品| 久久久精品日韩欧美| 先锋资源久久| 午夜久久一区| 香蕉久久夜色精品国产使用方法 | 久久精品视频va| 午夜国产精品视频| 亚洲淫片在线视频| 中文无字幕一区二区三区| 亚洲精品日产精品乱码不卡| 亚洲高清av在线| 一色屋精品视频免费看| 狠狠色丁香婷婷综合| 国内精品久久久久久影视8 | 亚洲国产精品久久久久婷婷884 | 欧美成人精品在线观看| 美女国产精品| 美女久久一区| 欧美激情aaaa| 亚洲国产一区二区a毛片| 亚洲观看高清完整版在线观看| 女同性一区二区三区人了人一| 久久综合一区| 欧美黄色免费网站| 亚洲国产你懂的| 亚洲精品激情| 亚洲午夜精品久久久久久app| 夜夜嗨av一区二区三区四区 | 欧美精品亚洲一区二区在线播放| 欧美成人蜜桃| 欧美午夜精品久久久| 欧美日韩一区二区三区在线观看免 | 亚洲精品影院| 亚洲免费视频在线观看| 香蕉免费一区二区三区在线观看| 欧美在线免费观看| 美女精品在线| 日韩视频永久免费| 亚洲欧美区自拍先锋| 久久久噜噜噜久久狠狠50岁| 玖玖玖免费嫩草在线影院一区| 欧美精品久久久久久久久久| 欧美三级在线视频| 国产亚洲人成网站在线观看| 亚洲国产成人在线播放| 一区二区三区偷拍| 久久久噜噜噜久久人人看| 亚洲电影观看| 香蕉久久夜色精品国产使用方法| 久久免费精品日本久久中文字幕| 欧美日本网站| 国产一区二区三区四区五区美女| 91久久精品久久国产性色也91| 一区二区高清在线| 久久久爽爽爽美女图片| 日韩视频第一页| 久久精品国产欧美激情| 欧美日韩无遮挡| 尤妮丝一区二区裸体视频| 这里只有精品在线播放| 久久亚洲一区| 国产精品99久久久久久久久| 久久婷婷国产综合国色天香| 欧美日一区二区三区在线观看国产免| 国产综合自拍| 香蕉成人久久| 亚洲精品久久久久久一区二区| 久久福利视频导航| 国产精品久久久久久一区二区三区| 在线播放日韩欧美| 欧美一区观看| 99热在线精品观看| 美女主播精品视频一二三四| 国产欧美精品日韩区二区麻豆天美 | 欧美色综合网| 亚洲理论在线观看| 欧美亚洲不卡| 亚洲欧洲一区二区在线观看 | 亚洲精品网站在线播放gif| 欧美在线观看天堂一区二区三区| 欧美日韩亚洲一区二区三区在线观看 | 久久久7777| 亚洲欧美日韩一区| 一区二区三区欧美日韩| 牛人盗摄一区二区三区视频| 欧美综合国产精品久久丁香| 99精品国产在热久久下载| 国产视频在线观看一区二区| 欧美日韩午夜视频在线观看| 久久久久欧美精品| 久久都是精品| 理论片一区二区在线| 麻豆成人在线播放| 免费欧美日韩| 欧美日韩日本网| 国产精品专区h在线观看| 欧美色道久久88综合亚洲精品| 鲁大师影院一区二区三区| 久久久夜精品| 欧美精品三级| 国产精品无人区| 黑人巨大精品欧美一区二区小视频| 国产欧美日韩激情| 在线成人av网站| 亚洲一区在线观看视频| 久久av一区|