青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

lxyfirst

C++博客 首頁 新隨筆 聯系 聚合 管理
  33 Posts :: 3 Stories :: 27 Comments :: 0 Trackbacks

置頂隨筆 #

服務端/后臺開發中如何生成id是每個開發者都會遇到的問題,在電商、游戲領域尤其突出。
如何保證生成id的唯一性、可靠性、高可用性,如何組織id的格式,在不同的應用場景和限制下實現方式也不盡相同。

我們的應用場景類似電商,在一個訂單的生命周期內,有多個邏輯需要生成各自的id,還要考慮到可讀性和靈活性,我們決定實現一個獨立的id服務。
首先,id服務必須具有高可用性,業務邏輯處理中創建id失敗是不可接受的,所以id服務必須分布式部署,有多個節點同時對外服務,一個節點失敗則重試其他節點,保證成功創建id。
在分布式系統中保證數據的一致性成本是很高的,為了簡化設計和實現,每個節點都設計成對等的、獨立的,不需要保持數據同步。
其次,id服務必須可靠,數據不能丟失,因此數據的存儲放在獨立的mysql數據庫中,使用replace方式更新數據,id服務本身記錄更新日志。
最后,id服務必須靈活,可以自定義id格式,可以高效靈活的實現客戶端,因此通訊協議使用json over udp方式,在id服務端使用lua實現id格式的靈活定義。
ID規則
    具體規則有lua腳本定義,修改腳本后需要reload生效,需要實現4個函數
    min_counter :   計數器最小值
    max_counter :   計數器最大值
    reset_seconds : 計數器重置周期
    create_id : 根據計數器、自定義參數和時間參數創建ID。
    例如:
    function min_counter()
        return 0
    end
    function max_counter()
        return 9999
    end
    function reset_seconds()
        return 86400
    end
    function create_id(counter,now,salt)
        local seq = counter:generate_counter()
        local new_id = string.format("%01d%02d%02d%04d",now:year()%10 ,now:month(),now:day(),seq)
        return new_id
    end
接口
    采用udp協議,數據格式為json ,字段定義:
    action: 請求類型 get: 創建ID ,  monitor:監控
    rule_name: 規則名字, 由服務端定義
    app_name : 應用名或命名空間 , 客戶端自定義,rule_name和app_name一起決定生成ID的唯一性
    salt :  自定義參數 ,可選項 ,
    seq : 自定義參數,可選項,原樣返回
    例如:
    創建ID請求:  {"action":"get","rule_name":"o2o","app_name":"test"}
    響應:{"code":0,"message":"success","data":"505140001"}
    監控請求:{"action":"monitor","rule_name":"o2o","app_name":"test"}
    響應:{"code":0,"message":"ok","data":{"counter":3,"node_offset":1}}
性能
    id服務器使用c++實現,性能測試做的比較簡單,因為性能不是id服務的主要關注點, 簡單以php為客戶端進行測試。
    4個php并發進程,每個進程不停發送20萬個請求,測試結果:
    total:200000 fail:0 min:0.000214 max:0.087330 avg:0.000393
    total:200000 fail:0 min:0.000215 max:0.087129 avg:0.000391
    total:200000 fail:0 min:0.000221 max:0.087252 avg:0.000391
    total:200000 fail:0 min:0.000218 max:0.087484 avg:0.000391
    說明  min : 最小耗時(秒) max : 最大耗時(秒) avg : 平均耗時(秒)
    服務器TPS達到近1萬/秒時,平均延遲在0.3毫秒。

經過在生產環境使用,運行穩定,現在將整個系統開源出來,歡迎試用,有任何意見和建議歡迎反饋到lxyfirst@163.com 。
項目源代碼位置 : https://github.com/lxyfirst/id_server

版本更新9.19
1.增加數據落地的預保存和批量保存機制,一方面減少數據庫壓力,一方面增加異步保存的可靠性。
2.由于主線程和數據庫線程只需要傳遞sql語句,將線程間通信由pipe方式改為eventfd + lockfree queue方式。
posted @ 2015-09-17 14:09 star 閱讀(18541) | 評論 (4)編輯 收藏

近期項目需要一個mysql代理服務器,實現mysql協議代理和路由功能,形成簡單的mysql集群服務。現成的開源方案是mysql-proxy , 分析功能和源代碼后發現跟我們的應用場景不太匹配,于是決定重新實現一個符合需求的mysql代理服務器,考慮到需要完美支持mysql協議,優先選擇了libdrizzle庫, libdrizzle是開源項目drizzle中的協議庫,而drizzle可以看作mysql的分支版本,目前穩定版本是7.1.36 , 下面主要是記錄使用libdrizzle中遇到的一些問題。
1. 關于nonblock模式的問題,現代應用服務器典型架構一般是使用reactor/proactor模式的事件驅動模型,如何把libdrizzle和應用服務器的驅動模型很好的結合起來尤其重要, libdrizzle支持nonblock模式,獨立實現了事件驅動機制,使用poll監控網絡事件,具體在drizzle_con_wait()中實現,然后通過drizzle_con_ready()遍歷產生事件的網絡連接,即drizzle_con_st對象,該接口難以與通常的網絡事件驅動機制配合使用,性能也不太理想,具體用法可參見其自帶的樣例程序examples/client.cc , 也就是說libdrizzle的驅動模型需要重新封裝成跟應用服務器相匹配,才能真正發揮nonblock模式的性能。

2. drizzle_result_st對象初始時一些內部數據沒有初始化,容易造成程序崩潰,因此需要修改構造函數,初始化所有內部數據。涉及文件libdrizzle-2.0/structs.h 
相應字段為field, field_buffer,row 。

3. libdrizzle中運行時產生的內部對象都以雙鏈表形式掛接在其上級對象中,例如drizzle_st對象中有個雙鏈表維護其創建的drizzle_con_st對象,類似地,drizzle_con_st對象中有個雙鏈表維護其創建的drizzle_result_st對象,所有的對象通過這種形式級聯管理,并且這些對象中保存著上下文相關的狀態,這樣的實現方便資源管理,防止資源泄露,但在代理服務器中,請求和結果在不斷轉發過程中會形成大量的內存拷貝,為了減少轉發過程中的內存拷貝,需要把drizzle_result_st顯式的從drizzle_con_st中移除,當數據發往客戶端完成后再刪除,因此增加了drizzle_result_detach()接口,用于從drizzle_con_st對象中移除drizzle_result_st對象 , 涉及文件libdrizzle-2.0/result.h , libdrizzle-2.0/result.cc 

void drizzle_result_detach(drizzle_result_st *result)
{

  if (result->con)
  {
    result->con->result_count--;
    if (result->con->result_list == result)
      result->con->result_list= result->next;
  }

  if (result->prev)
    result->prev->next= result->next;

  if (result->next)
    result->next->prev= result->prev;

  result->con = NULL ;
  result->prev = NULL ;
  result->next = NULL ;
}
posted @ 2014-01-07 10:07 star 閱讀(3102) | 評論 (0)編輯 收藏

僅列出標題  下一頁
青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            亚洲欧美另类在线观看| 亚洲一区二区三区四区中文| 欧美国产大片| 欧美电影在线| 欧美精品色综合| 欧美日韩免费高清| 国产精品日韩高清| 国产一区二区三区无遮挡| 韩日精品视频| 亚洲精品视频免费| 亚洲天堂免费观看| 亚洲欧美偷拍卡通变态| 欧美一区二区三区另类 | 亚洲国产日韩欧美| 欧美成人性网| 日韩亚洲精品在线| 午夜精品久久久久久久白皮肤| 午夜精品久久久久久久99樱桃| 久久精品国产精品亚洲精品| 欧美freesex交免费视频| 欧美调教视频| 很黄很黄激情成人| 在线一区二区三区四区| 欧美专区福利在线| 91久久综合| 久久国产精彩视频| 欧美色中文字幕| 一区二区自拍| 亚洲欧美日韩国产中文在线| 欧美成人四级电影| 亚洲资源av| 欧美理论片在线观看| 国产亚洲精品久久久| av成人毛片| 欧美成人激情视频| 亚洲欧美在线一区| 欧美日韩另类视频| 亚洲第一综合天堂另类专| 午夜欧美大尺度福利影院在线看| 嫩草国产精品入口| 欧美一区二区三区免费在线看 | 国产综合一区二区| 亚洲一二区在线| 亚洲高清精品中出| 午夜精品久久久久久久白皮肤| 美女福利精品视频| 亚洲欧美三级在线| 国产精品高潮久久| 99视频热这里只有精品免费| 欧美a级一区二区| 欧美亚洲一区| 国产欧美一区二区精品婷婷| 亚洲一二三区在线| 99国产精品久久久| 欧美日韩国产123区| 亚洲国产一区在线观看| 久久免费精品日本久久中文字幕| 亚洲一区二区三区影院| 欧美性久久久| 亚洲小视频在线观看| 亚洲美女色禁图| 欧美人与性禽动交情品 | 99视频有精品| 欧美日韩综合不卡| 亚洲欧美日韩精品久久奇米色影视| 亚洲精选一区| 欧美日韩直播| 午夜视频精品| 欧美一区二区三区另类| 狠狠色狠狠色综合人人| 欧美成人精品影院| 欧美精品黄色| 亚洲欧美日韩综合一区| 亚洲直播在线一区| 国内成+人亚洲+欧美+综合在线| 久久激情五月激情| 久久免费视频这里只有精品| 亚洲第一精品在线| 亚洲人成人77777线观看| 欧美视频精品一区| 久久国产日韩欧美| 蜜臀91精品一区二区三区| 99在线精品免费视频九九视| 一区二区三区www| 国产一区再线| 亚洲国产视频直播| 国产精品视频yy9299一区| 久久亚洲美女| 欧美精品粉嫩高潮一区二区| 亚洲欧美国产精品专区久久| 欧美在线国产精品| 亚洲免费精品| 性xx色xx综合久久久xx| 激情综合色综合久久| 最新精品在线| 国产在线麻豆精品观看| 亚洲激情成人| 国产亚洲午夜| 亚洲乱码国产乱码精品精98午夜| 国产精品免费网站| 亚洲高清成人| 国内精品久久久久久久影视麻豆 | 国产精品久久夜| 欧美日韩在线免费| 欧美一区二区三区在线视频| 蜜桃av一区二区三区| 午夜精品剧场| 欧美成人资源| 久久久噜噜噜久噜久久| 欧美日韩高清在线播放| 麻豆精品精华液| 国产精品家教| 亚洲三级视频在线观看| 国内精品久久久| 亚洲婷婷在线| 一本色道久久99精品综合| 久久久www成人免费无遮挡大片| 亚洲精品影院在线观看| 久久av一区二区三区亚洲| 亚洲视频网站在线观看| 男女av一区三区二区色多| 久久成人免费电影| 欧美性一区二区| 亚洲人体偷拍| 亚洲精品五月天| 免费观看成人网| 另类天堂av| 国内揄拍国内精品久久| 亚洲欧美另类在线| 亚洲欧美激情一区二区| 欧美日韩免费观看一区三区| 欧美激情性爽国产精品17p| 在线观看91精品国产入口| 久久国产精品第一页| 久久久高清一区二区三区| 国产欧美精品日韩区二区麻豆天美| 99精品久久| 亚洲欧美在线免费观看| 国产精品久久久久aaaa| 亚洲永久网站| 久久激情综合| 精品成人国产| 久久久久九九九| 男女精品网站| 亚洲精品中文字| 欧美日韩激情网| 亚洲天堂视频在线观看| 欧美在线二区| 狠狠色2019综合网| 美女网站久久| 亚洲美女淫视频| 午夜欧美大尺度福利影院在线看 | 欧美日韩伦理在线| 一区二区三区欧美亚洲| 午夜一区不卡| 国外成人在线视频| 男女激情久久| 99精品热6080yy久久| 亚洲在线视频观看| 国产午夜精品一区二区三区欧美| 久久高清福利视频| 亚洲国产精品成人| 亚洲一区二区高清| 国内精品一区二区| 欧美成熟视频| 亚洲一区激情| 欧美国产日韩一二三区| 亚洲香蕉成视频在线观看| 国产在线高清精品| 一区二区三区在线不卡| 一本久久a久久免费精品不卡| 午夜精品婷婷| 亚洲精品一区二区三区99| 国产精品国产三级国产普通话99| 亚洲一区二区成人| 欧美福利一区| 欧美一区二区三区免费视| 亚洲黄色成人网| 国产欧美亚洲一区| 欧美精品激情在线观看| 欧美一区二区在线免费观看 | 国产精品一区二区a| 亚洲精品视频在线| 久久精品国产一区二区电影| 一本久道久久综合中文字幕 | 欧美一级免费视频| 日韩午夜激情| 亚洲电影在线免费观看| 国产精品爽爽ⅴa在线观看| 欧美国产免费| 久久精品天堂| 篠田优中文在线播放第一区| 日韩午夜免费视频| 亚洲国产成人久久综合| 久久国产黑丝| 小黄鸭精品密入口导航| 一本久久青青| 日韩视频―中文字幕| 亚洲缚视频在线观看| 激情综合网址|