• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            lxyfirst

            C++博客 首頁 新隨筆 聯系 聚合 管理
              33 Posts :: 3 Stories :: 27 Comments :: 0 Trackbacks
            服務端/后臺開發中如何生成id是每個開發者都會遇到的問題,在電商、游戲領域尤其突出。
            如何保證生成id的唯一性、可靠性、高可用性,如何組織id的格式,在不同的應用場景和限制下實現方式也不盡相同。

            我們的應用場景類似電商,在一個訂單的生命周期內,有多個邏輯需要生成各自的id,還要考慮到可讀性和靈活性,我們決定實現一個獨立的id服務。
            首先,id服務必須具有高可用性,業務邏輯處理中創建id失敗是不可接受的,所以id服務必須分布式部署,有多個節點同時對外服務,一個節點失敗則重試其他節點,保證成功創建id。
            在分布式系統中保證數據的一致性成本是很高的,為了簡化設計和實現,每個節點都設計成對等的、獨立的,不需要保持數據同步。
            其次,id服務必須可靠,數據不能丟失,因此數據的存儲放在獨立的mysql數據庫中,使用replace方式更新數據,id服務本身記錄更新日志。
            最后,id服務必須靈活,可以自定義id格式,可以高效靈活的實現客戶端,因此通訊協議使用json over udp方式,在id服務端使用lua實現id格式的靈活定義。
            ID規則
                具體規則有lua腳本定義,修改腳本后需要reload生效,需要實現4個函數
                min_counter :   計數器最小值
                max_counter :   計數器最大值
                reset_seconds : 計數器重置周期
                create_id : 根據計數器、自定義參數和時間參數創建ID。
                例如:
                function min_counter()
                    return 0
                end
                function max_counter()
                    return 9999
                end
                function reset_seconds()
                    return 86400
                end
                function create_id(counter,now,salt)
                    local seq = counter:generate_counter()
                    local new_id = string.format("%01d%02d%02d%04d",now:year()%10 ,now:month(),now:day(),seq)
                    return new_id
                end
            接口
                采用udp協議,數據格式為json ,字段定義:
                action: 請求類型 get: 創建ID ,  monitor:監控
                rule_name: 規則名字, 由服務端定義
                app_name : 應用名或命名空間 , 客戶端自定義,rule_name和app_name一起決定生成ID的唯一性
                salt :  自定義參數 ,可選項 ,
                seq : 自定義參數,可選項,原樣返回
                例如:
                創建ID請求:  {"action":"get","rule_name":"o2o","app_name":"test"}
                響應:{"code":0,"message":"success","data":"505140001"}
                監控請求:{"action":"monitor","rule_name":"o2o","app_name":"test"}
                響應:{"code":0,"message":"ok","data":{"counter":3,"node_offset":1}}
            性能
                id服務器使用c++實現,性能測試做的比較簡單,因為性能不是id服務的主要關注點, 簡單以php為客戶端進行測試。
                4個php并發進程,每個進程不停發送20萬個請求,測試結果:
                total:200000 fail:0 min:0.000214 max:0.087330 avg:0.000393
                total:200000 fail:0 min:0.000215 max:0.087129 avg:0.000391
                total:200000 fail:0 min:0.000221 max:0.087252 avg:0.000391
                total:200000 fail:0 min:0.000218 max:0.087484 avg:0.000391
                說明  min : 最小耗時(秒) max : 最大耗時(秒) avg : 平均耗時(秒)
                服務器TPS達到近1萬/秒時,平均延遲在0.3毫秒。

            經過在生產環境使用,運行穩定,現在將整個系統開源出來,歡迎試用,有任何意見和建議歡迎反饋到lxyfirst@163.com 。
            項目源代碼位置 : https://github.com/lxyfirst/id_server

            版本更新9.19
            1.增加數據落地的預保存和批量保存機制,一方面減少數據庫壓力,一方面增加異步保存的可靠性。
            2.由于主線程和數據庫線程只需要傳遞sql語句,將線程間通信由pipe方式改為eventfd + lockfree queue方式。
            posted on 2015-09-17 14:09 star 閱讀(18507) 評論(4)  編輯 收藏 引用

            Feedback

            # re: 分布式高可用id服務器設計實現 2015-09-18 08:51 single
            博主能再說明一下多節點之間是如何保證id的唯一性,如何保證id_server的id存盤性能  回復  更多評論
              

            # re: 分布式高可用id服務器設計實現 2015-09-18 10:22 star
            @single
            多節點沒有直接通信,所以id的唯一性是通過配置步長和偏移保證的,比如說整個集群部署兩個節點,那么一個節點產生的id都是奇數,另一個節點產生的id都是偶數,從而互相獨立且唯一。
            id的存盤是異步多線程實現,類似于生產者消費者模式,實現方面目前主線程和數據庫線程之間通過管道傳遞數據, 當然用eventfd + lockfree queue 會更好些,framework也提供這種通訊機制 。

              回復  更多評論
              

            # re: 分布式高可用id服務器設計實現 2015-09-18 11:41 single
            @star
            那保存這一塊可以考慮將產生的id推到消息隊列。  回復  更多評論
              

            # re: 分布式高可用id服務器設計實現 2015-10-30 10:48 路人
            id用一個進程分配既費勁又浪費還可能出現單點問題,用uuid就行了,mongodb的id隨便在哪生成都不重復  回復  更多評論
              

            久久国产成人| 国内精品伊人久久久久妇| 亚洲精品乱码久久久久久不卡| 久久综合久久久| 亚洲精品高清国产一线久久| 久久久久久精品成人免费图片| 久久精品国产99久久丝袜| 久久久久99精品成人片三人毛片 | 伊人久久大香线蕉av一区| 亚洲va久久久久| 久久本道伊人久久| 精品久久777| 亚洲AV成人无码久久精品老人| 99精品久久久久久久婷婷| 日韩av无码久久精品免费| 久久亚洲精品国产精品| 久久久国产精品网站| 亚洲国产成人久久笫一页| 精品久久久久香蕉网| 久久亚洲国产成人精品无码区| 亚洲国产日韩综合久久精品| 狠狠色婷婷综合天天久久丁香| 性高朝久久久久久久久久| 久久夜色精品国产网站| 久久天天躁狠狠躁夜夜2020老熟妇| 久久久久久久久久久久久久| 久久亚洲欧美日本精品| 狠狠88综合久久久久综合网 | 久久久久国产精品嫩草影院| 久久精品国产91久久麻豆自制| 久久综合给合久久狠狠狠97色| 九九热久久免费视频| 国产精品久久一区二区三区| 91久久婷婷国产综合精品青草 | 潮喷大喷水系列无码久久精品| 波多野结衣久久精品| 久久亚洲精品无码观看不卡| 国产精品xxxx国产喷水亚洲国产精品无码久久一区 | 国产精品免费福利久久| 欧美亚洲色综久久精品国产| 99久久做夜夜爱天天做精品|