青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

隨筆 - 8, 文章 - 1, 評論 - 14, 引用 - 0
數據加載中……

網站架構演變體系

一篇好文章,引一下。在這篇文章中 將闡述一個普通的網站發展成大型網站過程中的一種較為典型的架構演變歷程和所需掌握的知識體系:

架構演變第一步:物理分離webserver和數據庫  

最開始,由于某些想法,于是在互聯網上搭建了一個網站,這個時候甚至有可能主機都是租借的,但由于這篇文章我們只關注架構的演變歷程,因此就假設這個時候已經是托管了一臺主機,并且有一定的帶寬了,這個時候由于網站具備了一定的特色,吸引了部分人訪問,逐漸你發現系統的壓力越來越高,響應速度越來越慢,而這個時候比較明顯的是數據庫和應用互相影響,應用出問題了,數據庫也很容易出現問題,而數據庫出問題的時候,應用也容易出問題,于是進入了第一步演變階段:將應用和數據庫從物理上分離,變成了兩臺機器,這個時候技術上沒有什么新的要求,但你發現確實起到效果了,系統又恢復到以前的響應速度了,并且支撐住了更高的流量,并且不會因為數據庫和應用形成互相的影響。

看看這一步完成后系統的圖示:


這一步涉及到了這些知識體系:

這一步架構演變對技術上的知識體系基本沒有要求。

架構演變第二步:增加頁面緩存

好景不長,隨著訪問的人越來越多,你發現響應速度又開始變慢了,查找原因,發現是訪問數據庫的操作太多,導致數據連接競爭激烈,所以響應變慢,但數據庫連接又不能開太多,否則數據庫機器壓力會很高,因此考慮采用緩存機制來減少數據庫連接資源的競爭和對數據庫讀的壓力,這個時候首先也許會選擇采用squid 等類似的機制來將系統中相對靜態的頁面(例如一兩天才會有更新的頁面)進行緩存(當然,也可以采用將頁面靜態化的方案),這樣程序上可以不做修改,就能夠 很好的減少對webserver的壓力以及減少數據庫連接資源的競爭,OK,于是開始采用squid來做相對靜態的頁面的緩存。

看看這一步完成后系統的圖示:


這一步涉及到了這些知識體系:

前端頁面緩存技術,例如squid,如想用好的話還得深入掌握下squid的實現方式以及緩存的失效算法等。

 

架構演變第三步:增加頁面片段緩存

增加了squid做緩存后,整體系統的速度確實是提升了,webserver的壓力也開始下降了,但隨著訪問量的增加,發現系統又開始變的有些慢了,在嘗 到了squid之類的動態緩存帶來的好處后,開始想能不能讓現在那些動態頁面里相對靜態的部分也緩存起來呢,因此考慮采用類似ESI之類的頁面片段緩存策略,OK,于是開始采用ESI來做動態頁面中相對靜態的片段部分的緩存。

看看這一步完成后系統的圖示:


這一步涉及到了這些知識體系:

頁面片段緩存技術,例如ESI等,想用好的話同樣需要掌握ESI的實現方式等;

 

架構演變第四步:數據緩存

在采用ESI之類的技術再次提高了系統的緩存效果后,系統的壓力確實進一步降低了,但同樣,隨著訪問量的增加,系統還是開始變慢,經過查找,可能會發現系 統中存在一些重復獲取數據信息的地方,像獲取用戶信息等,這個時候開始考慮是不是可以將這些數據信息也緩存起來呢,于是將這些數據緩存到本地內存,改變完畢后,完全符合預期,系統的響應速度又恢復了,數據庫的壓力也再度降低了不少。

看看這一步完成后系統的圖示:


這一步涉及到了這些知識體系:

緩存技術,包括像Map數據結構、緩存算法、所選用的框架本身的實現機制等。

 

架構演變第五步: 增加webserver

好景不長,發現隨著系統訪問量的再度增加,webserver機器的壓力在高峰期會上升到比較高,這個時候開始考慮增加一臺webserver,這也是為了同時解決可用性的問題,避免單臺的webserver down機的話就沒法使用了,在做了這些考慮后,決定增加一臺webserver,增加一臺webserver時,會碰到一些問題,典型的有:
1
、如何讓訪問分配到這兩臺機器上,這個時候通常會考慮的方案是Apache自帶的負載均衡方案,或LVS這類的軟件負載均衡方案;
2
、如何保持狀態信息的同步,例如用戶session等,這個時候會考慮的方案有寫入數據庫、寫入存儲、cookie或同步session信息等機制等;
3
、如何保持數據緩存信息的同步,例如之前緩存的用戶數據等,這個時候通常會考慮的機制有緩存同步或分布式緩存;
4
、如何讓上傳文件這些類似的功能繼續正常,這個時候通常會考慮的機制是使用共享文件系統或存儲等;
在解決了這些問題后,終于是把webserver增加為了兩臺,系統終于是又恢復到了以往的速度。

看看這一步完成后系統的圖示:


這一步涉及到了這些知識體系:

負載均衡技術(包括但不限于硬件負載均衡、軟件負載均衡、負載算法、linux轉發協議、所選用的技術的實現細節等)、主備技術(包括但不限于ARP欺騙、linux heart-beat等)、狀態信息或緩存同步技術(包括但不限于Cookie技術、UDP協議、狀態信息廣播、所選用的緩存同步技術的實現細節等)、共享文件技術(包括但不限于NFS等)、存儲技術(包括但不限于存儲設備等)。

 

架構演變第六步:分庫

享受了一段時間的系統訪問量高速增長的幸福后,發現系統又開始變慢了,這次又是什么狀況呢,經過查找,發現數據庫寫入、更新的這些操作的部分數據庫連接的資源競爭非常激烈,導致了系統變慢,這下怎么辦呢,此時可選的方案有數據庫集群和分庫策略,集群方面像有些數據庫支持的并不是很好,因此分庫會成為比較普遍的策略,分庫也就意味著要對原有程序進行修改,一通修改實現分庫后,不錯,目標達到了,系統恢復甚至速度比以前還快了。

看看這一步完成后系統的圖示:


這一步涉及到了這些知識體系:

這一步更多的是需要從業務上做合理的劃分,以實現分庫,具體技術細節上沒有其他的要求;

但同時隨著數據量的增大和分庫的進行,在數據庫的設計、調優以及維護上需要做的更好,因此對這些方面的技術還是提出了很高的要求的。

 

架構演變第七步:分表、DAL和分布式緩存
隨著系統的不斷運行,數據量開始大幅度增長,這個時候發現分庫后查詢仍然會有些慢,于是按照分庫的思想開始做分表的工作,當然,這不可避免的會需要對程序進行一些修改,也許在這個時候就會發現應用自己要關心分庫分表的規則等,還是有些復雜的,于是萌生能否增加一個通用的框架來實現分庫分表的數據訪問,這個在ebay的架構中對應的就是DAL,這個演變的過程相對而言需要花費較長的時間,當然,也有可能這個通用的框架會等到分表做完后才開始做,同時,在這個階段可能會發現之前的緩存同步方案出現問題,因為數據量太大,導致現在不太可能將緩存存在本地,然后同步的方式,需要采用分布式緩存方案了,于是,又是一通考察和折磨,終于是將大量的數據緩存轉移到分布式緩存上了。

看看這一步完成后系統的圖示:


這一步涉及到了這些知識體系:

分表更多的同樣是業務上的劃分,技術上涉及到的會有動態hash算法、consistent hash算法等;

DAL涉及到比較多的復雜技術,例如數據庫連接的管理(超時、異常)、數據庫操作的控制(超時、異常)、分庫分表規則的封裝等;

 

架構演變第八步:增加更多的webserver

在做完分庫分表這些工作后,數據庫上的壓力已經降到比較低了,又開始過著每天看著訪問量暴增的幸福生活了,突然有一天,發現系統的訪問又開始有變慢的趨勢了,這個時候首先查看數據庫,壓力一切正常,之后查看webserver,發現apache阻塞了很多的請求,而應用服務器對每個請求也是比較快的,看來 是請求數太高導致需要排隊等待,響應速度變慢,這還好辦,一般來說,這個時候也會有些錢了,于是添加一些webserver服務器,在這個添加 webserver服務器的過程,有可能會出現幾種挑戰:
1
Apache的軟負載或LVS軟負載等無法承擔巨大的web訪問量(請求連接數、網絡流量等)的調度了,這個時候如果經費允許的話,會采取的方案是購 買硬件負載,例如F5NetsclarAthelon之類的,如經費不允許的話,會采取的方案是將應用從邏輯上做一定的分類,然后分散到不同的軟負載集群中;
2
、原有的一些狀態信息同步、文件共享等方案可能會出現瓶頸,需要進行改進,也許這個時候會根據情況編寫符合網站業務需求的分布式文件系統等;
在做完這些工作后,開始進入一個看似完美的無限伸縮的時代,當網站流量增加時,應對的解決方案就是不斷的添加webserver

看看這一步完成后系統的圖示:


這一步涉及到了這些知識體系:

到了這一步,隨著機器數的不斷增長、數據量的不斷增長和對系統可用性的要求越來越高,這個時候要求對所采用的技術都要有更為深入的理解,并需要根據網站的需求來做更加定制性質的產品。

 

架構演變第九步:數據讀寫分離和廉價存儲方案

突然有一天,發現這個完美的時代也要結束了,數據庫的噩夢又一次出現在眼前了,由于添加的webserver太多了,導致數據庫連接的資源還是不夠用,而這個時候又已經分庫分表了,開始分析數據庫的壓力狀況,可能會發現數據庫的讀寫比很高,這個時候通常會想到數據讀寫分離的方案,當然,這個方案要實現并不 容易,另外,可能會發現一些數據存儲在數據庫上有些浪費,或者說過于占用數據庫資源,因此在這個階段可能會形成的架構演變是實現數據讀寫分離,同時編寫一些更為廉價的存儲方案,例如BigTable這種。

看看這一步完成后系統的圖示:


這一步涉及到了這些知識體系:

數據讀寫分離要求對數據庫的復制、standby等策略有深入的掌握和理解,同時會要求具備自行實現的技術;

廉價存儲方案要求對OS的文件存儲有深入的掌握和理解,同時要求對采用的語言在文件這塊的實現有深入的掌握。

 

架構演變第十步:進入大型分布式應用時代和廉價服務器群夢想時代

經過上面這個漫長而痛苦的過程,終于是再度迎來了完美的時代,不斷的增加webserver就可以支撐越來越高的訪問量了,對于大型網站而言,人氣的重要毋庸置疑,隨著人氣的越來越高,各種各樣的功能需求也開始爆發性的增長,這個時候突然發現,原來部署在webserver上的那個web應用已經非常龐大 了,當多個團隊都開始對其進行改動時,可真是相當的不方便,復用性也相當糟糕,基本是每個團隊都做了或多或少重復的事情,而且部署和維護也是相當的麻煩, 因為龐大的應用包在N臺機器上復制、啟動都需要耗費不少的時間,出問題的時候也不是很好查,另外一個更糟糕的狀況是很有可能會出現某個應用上的bug就導 致了全站都不可用,還有其他的像調優不好操作(因為機器上部署的應用什么都要做,根本就無法進行針對性的調優)等因素,根據這樣的分析,開始痛下決心,將 系統根據職責進行拆分,于是一個大型的分布式應用就誕生了,通常,這個步驟需要耗費相當長的時間,因為會碰到很多的挑戰:
1
、拆成分布式后需要提供一個高性能、穩定的通信框架,并且需要支持多種不同的通信和遠程調用方式;
2
、將一個龐大的應用拆分需要耗費很長的時間,需要進行業務的整理和系統依賴關系的控制等;
3
、如何運維(依賴管理、運行狀況管理、錯誤追蹤、調優、監控和報警等)好這個龐大的分布式應用。
經過這一步,差不多系統的架構進入相對穩定的階段,同時也能開始采用大量的廉價機器來支撐著巨大的訪問量和數據量,結合這套架構以及這么多次演變過程吸取的經驗來采用其他各種各樣的方法來支撐著越來越高的訪問量。

看看這一步完成后系統的圖示:


這一步涉及到了這些知識體系:

這一步涉及的知識體系非常的多,要求對通信、遠程調用、消息機制等有深入的理解和掌握,要求的都是從理論、硬件級、操作系統級以及所采用的語言的實現都有清楚的理解。

運維這塊涉及的知識體系也非常的多,多數情況下需要掌握分布式并行計算、報表、監控技術以及規則策略等等。

說起來確實不怎么費力,整個網站架構的經典演變過程都和上面比較的類似,當然,每步采取的方案,演變的步驟有可能有不同,另外,由于網站的業務不同,會有不同的專業技術的需求,這篇blog更多的是從架構的角度來講解演變的過程,當然,其中還有很多的技術也未在此提及,像數據庫集群、數據挖掘、搜索等,但在真實的演變過程中還會借助像提升硬件配置、網絡環境、改造操作系統、CDN鏡像等來支撐更大的流量,因此在真實的發展過程中還會有很多的不同,另外一個大型網站要做到的遠遠不僅僅上面這些,還有像安全、運維、運營、服務、存儲等,要做好一個大型的網站真的很不容易,寫這篇文章更多的是希望能夠引出更多大型網站架構演變的介紹,:)


ps:最后附上幾篇LiveJournal架構演變的文章:
從LiveJournal后臺發展看大規模網站性能優化方法
http://blog.zhangjianfeng.com/article/743    
另外從這里:http://www.danga.com/words/大家可以找到更多關于現在LiveJournal網站架構的介紹。

posted on 2010-04-16 18:12 兵臨城下 閱讀(2383) 評論(4)  編輯 收藏 引用 所屬分類: 架構設計

評論

# re: 網站架構演變體系[未登錄]  回復  更多評論   

好文!
2010-04-16 18:43 | cppexplore

# re: 網站架構演變體系  回復  更多評論   

確實是好文!
2010-04-17 14:28 | aobatu

# re: 網站架構演變體系  回復  更多評論   

是你的沒那事
2010-04-18 15:04 | 羅萊家紡專賣店

# re: 網站架構演變體系  回復  更多評論   

好文
2010-04-27 19:22 | 向往
青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            美女诱惑黄网站一区| 中文一区二区| 久久一区免费| 亚洲福利小视频| 亚洲高清影视| 欧美日产在线观看| 亚洲欧美综合精品久久成人| 亚洲欧美国产日韩中文字幕| 国产精品专区h在线观看| 久久九九精品| 蘑菇福利视频一区播放| 一本久久知道综合久久| 亚洲午夜久久久久久久久电影院| 国产精品无人区| 蜜臀av性久久久久蜜臀aⅴ| 欧美激情91| 欧美一级视频精品观看| 久久免费少妇高潮久久精品99| 亚洲人成网站色ww在线| 在线视频精品一区| 精品91在线| 亚洲美女在线看| 好吊妞这里只有精品| 亚洲人成网站在线观看播放| 国产精品夜夜嗨| 亚洲第一成人在线| 国产欧美精品日韩| 亚洲人成亚洲人成在线观看| 国产亚洲a∨片在线观看| 亚洲片区在线| 国产一区二区三区四区老人| 最新国产乱人伦偷精品免费网站 | 日韩网站在线观看| 国产一区在线播放| 夜夜夜久久久| 亚洲精品三级| 久久天天狠狠| 久久er99精品| 欧美性猛交视频| 亚洲欧洲精品一区| 亚洲二区在线视频| 欧美一区二区三区视频在线观看| 日韩亚洲视频在线| 久久一区二区三区av| 久久xxxx| 国产噜噜噜噜噜久久久久久久久| 亚洲欧洲日夜超级视频| 永久91嫩草亚洲精品人人| 亚洲欧美另类国产| 亚洲一区二区三区四区中文| 欧美jizzhd精品欧美喷水| 裸体一区二区| 黑丝一区二区| 在线看片成人| 亚洲人屁股眼子交8| 狠狠色丁香久久综合频道| 亚洲综合好骚| 午夜精品久久久久久久白皮肤| 欧美乱在线观看| 91久久精品国产91性色| 亚洲人成免费| 欧美国产日韩一区二区在线观看| 欧美大片在线观看| 亚洲片区在线| 欧美精品www在线观看| 欧美激情精品久久久久久蜜臀| 在线观看日韩av| 老司机67194精品线观看| 欧美~级网站不卡| 亚洲精品1区| 欧美精品不卡| 一区二区三区久久| 香蕉久久夜色精品国产使用方法| 欧美视频不卡| 性欧美精品高清| 久久午夜激情| 亚洲激情六月丁香| 欧美另类人妖| 亚洲免费视频在线观看| 久久精品亚洲精品国产欧美kt∨| 国产在线乱码一区二区三区| 久久久国产午夜精品| 亚洲第一精品久久忘忧草社区| 99精品黄色片免费大全| 欧美丝袜第一区| 欧美一级一区| 欧美激情精品久久久久久大尺度| 一本色道久久综合亚洲精品按摩| 国产精品久久久久7777婷婷| 午夜精品婷婷| 亚洲第一在线综合网站| 亚洲一区视频在线观看视频| 国产一二精品视频| 欧美激情在线有限公司| 亚洲一区网站| 亚洲国产精品传媒在线观看| 亚洲欧美日本国产有色| 一区二区三区在线观看视频| 欧美精品不卡| 久久精品盗摄| 一区二区欧美视频| 欧美成人免费大片| 羞羞漫画18久久大片| 亚洲国产精品一区二区www| 国产精品高清一区二区三区| 久久久久久久性| 亚洲视频电影在线| 欧美国产日产韩国视频| 亚洲欧美激情四射在线日 | 免费中文字幕日韩欧美| 亚洲午夜精品久久久久久app| 欧美成人免费小视频| 午夜精品在线看| 日韩午夜在线电影| 亚洲福利专区| 国产欧美视频一区二区三区| 牛夜精品久久久久久久99黑人| 亚洲免费影院| 亚洲视频欧美视频| 亚洲精品一区二区三区四区高清 | 尹人成人综合网| 国产精品私房写真福利视频 | 亚洲深爱激情| 美女日韩欧美| 欧美一区网站| 亚洲一二三区视频在线观看| 最新日韩在线视频| 一区二区三区无毛| 国产亚洲综合精品| 国产欧美日韩高清| 国产精品亚洲综合一区在线观看| 欧美日韩91| 欧美日韩精品伦理作品在线免费观看| 久久久久久久久一区二区| 久久国产毛片| 性欧美videos另类喷潮| 亚洲主播在线播放| 亚洲一区二区三区四区在线观看 | 欧美一级视频| 欧美在线观看你懂的| 西西人体一区二区| 性久久久久久久久| 欧美一区二区在线视频| 欧美一级播放| 久久国产夜色精品鲁鲁99| 久久国产欧美| 蜜桃久久精品乱码一区二区| 久久综合九色综合欧美狠狠| 免费成人黄色| 欧美日韩一区二区三区在线看| 欧美三级日本三级少妇99| 国产精品www.| 国产亚洲成精品久久| 韩日精品在线| 亚洲人成网站在线观看播放| 99精品视频免费| 亚洲欧美国产制服动漫| 午夜在线观看免费一区| 久久久久成人精品| 另类春色校园亚洲| 91久久精品www人人做人人爽| 日韩视频一区二区三区在线播放免费观看 | 国产亚洲一区在线| 国产日韩亚洲欧美综合| 红桃视频成人| 亚洲日本成人网| 亚洲韩国一区二区三区| 一本色道久久综合亚洲精品不卡 | 国产一区二区久久久| 伊人天天综合| 一本色道久久综合精品竹菊| 亚洲欧美在线免费| 免费成人av| 一本色道精品久久一区二区三区| 亚洲欧美激情四射在线日 | 亚洲福利一区| 亚洲资源av| 免费观看成人鲁鲁鲁鲁鲁视频| 亚洲激情一区二区| 亚洲欧美一级二级三级| 免费的成人av| 国产欧美欧美| 亚洲欧美日本在线| 亚洲天堂av综合网| 免费亚洲网站| 国产人成精品一区二区三| 伊伊综合在线| 欧美一区二区三区四区在线观看地址| 免费短视频成人日韩| 亚洲一区二区三区国产| 欧美成人免费网| 黄色av日韩| 欧美一级日韩一级| 亚洲美女av电影| 久久乐国产精品| 国产精品成人一区二区艾草| 亚洲国内在线| 美玉足脚交一区二区三区图片| 亚洲一区二区在线免费观看视频 | 亚洲在线观看视频|