• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>

    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>

            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            

    
            

            




            







												


        

            



            


            
    
            
        
            
            
            

            統計
            
	
              
		
            • 隨筆 - 50
		
            • 文章 - 42
		
            • 評論 - 147
		
            • 引用 - 0
	
              • 

            
            

            留言簿(6)
            


		
            隨筆分類
            
		
				
			
	
		
            文章分類
            
		
				
			
	
		
            Link
            
		
				
			
	



            搜索
            

              
	
            • 
		
            •  
	
              • 

            


            積分與排名
            

              
	
            • 
		積分 -
		166407
	
            • 
		排名 -
		159
	
              • 

            


            最新評論
	
            

            
	
			
		

            


            閱讀排行榜
            



            評論排行榜
            

            
        
    
            
    
            
        
					
	
            
		
            
			Hadoop學習筆記一 簡要介紹 
		
            
		
                這里先大致介紹一下Hadoop.
                本文大部分內容都是從官網            Hadoop上來的。其中有一篇介紹HDFS的pdf文檔，里面對Hadoop介紹的比較全面了。我的這一個系列的Hadoop學習筆記也是從這里一步一步進行下來的，同時又參考了網上的很多文章，對學習Hadoop中遇到的問題進行了歸納總結。
                言歸正傳，先說一下Hadoop的來龍去脈。談到Hadoop就不得不提到            Lucene和Nutch。首先，Lucene并不是一個應用程序，而是提供了一個純Java的高性能全文索引引擎工具包，它可以方便的嵌入到各種實際應用中實現全文搜索/索引功能。Nutch是一個應用程序，是一個以Lucene為基礎實現的搜索引擎應用，Lucene為Nutch提供了文本搜索和索引的API，Nutch不光有搜索的功能，還有數據抓取的功能。在nutch0.8.0版本之前，Hadoop還屬于Nutch的一部分，而從nutch0.8.0開始，將其中實現的NDFS和MapReduce剝離出來成立一個新的開源項目，這就是Hadoop，而nutch0.8.0版本較之以前的Nutch在架構上有了根本性的變化，那就是完全構建在Hadoop的基礎之上了。在Hadoop中實現了Google的GFS和MapReduce算法，使Hadoop成為了一個分布式的計算平臺。
               其實，Hadoop并不僅僅是一個用于存儲的分布式文件系統，而是設計用來在由通用計算設備組成的大型集群上執行分布式應用的框架。

               Hadoop包含兩個部分：

               1、HDFS

                  即Hadoop Distributed File System (Hadoop分布式文件系統)
                  HDFS具有高容錯性，并且可以被部署在低價的硬件設備之上。HDFS很適合那些有大數據集的應用，并且提供了對數據讀寫的高吞吐率。HDFS是一個master/slave的結構，就通常的部署來說，在master上只運行一個Namenode，而在每一個slave上運行一個Datanode。
                  HDFS支持傳統的層次文件組織結構，同現有的一些文件系統在操作上很類似，比如你可以創建和刪除一個文件，把一個文件從一個目錄移到另一個目錄，重命名等等操作。Namenode管理著整個分布式文件系統，對文件系統的操作（如建立、刪除文件和文件夾）都是通過Namenode來控制。 
                 下面是HDFS的結構：
            

            

            

            

                  從上面的圖中可以看出，Namenode，Datanode，Client之間的通信都是建立在TCP/IP的基礎之上的。當Client要執行一個寫入的操作的時候，命令不是馬上就發送到Namenode，Client首先在本機上臨時文件夾中緩存這些數據，當臨時文件夾中的數據塊達到了設定的Block的值（默認是64M）時，Client便會通知Namenode，Namenode便響應Client的RPC請求，將文件名插入文件系統層次中并且在Datanode中找到一塊存放該數據的block，同時將該Datanode及對應的數據塊信息告訴Client，Client便這些本地臨時文件夾中的數據塊寫入指定的數據節點。
                  HDFS采取了副本策略，其目的是為了提高系統的可靠性，可用性。HDFS的副本放置策略是三個副本，一個放在本節點上，一個放在同一機架中的另一個節點上，還有一個副本放在另一個不同的機架中的一個節點上。當前版本的hadoop0.12.0中還沒有實現，但是正在進行中，相信不久就可以出來了。

               2、MapReduce的實現

                              MapReduce是Google 的一項重要技術，它是一個編程模型，用以進行大數據量的計算。對于大數據量的計算，通常采用的處理手法就是并行計算。至少現階段而言，對許多開發人員來說，并行計算還是一個比較遙遠的東西。MapReduce就是一種簡化并行計算的編程模型，它讓那些沒有多少并行計算經驗的開發人員也可以開發并行應用。
                  MapReduce的名字源于這個模型中的兩項核心操作：Map和 Reduce。也許熟悉Functional Programming（            函數式編程）的人見到這兩個詞會倍感親切。簡單的說來，Map是把一組數據一對一的映射為另外的一組數據，其映射的規則由一個函數來指定，比如對[1, 2, 3, 4]進行乘2的映射就變成了[2, 4, 6, 8]。Reduce是對一組數據進行歸約，這個歸約的規則由一個函數指定，比如對[1, 2, 3, 4]進行求和的歸約得到結果是10，而對它進行求積的歸約結果是24。
                  關于MapReduce的內容，建議看看孟巖的這篇            MapReduce:The Free Lunch Is Not Over!

               好了，作為這個系列的第一篇就寫這么多了，我也是剛開始接觸Hadoop，下一篇就是講Hadoop的部署，談談我在部署Hadoop時遇到的問題，也給大家一個參考，少走點彎路。

             
            

            
		
            
			posted on 2009-09-03 10:58 pear_li 閱讀(288) 評論(0)  編輯 收藏 引用  所屬分類: Algorithm 
		
            
	
            
	
	


	


            
	    
    




            






            

				
    
            
    

            
	

            


                
    







            
	   
	



久久久综合香蕉尹人综合网|
亚洲精品乱码久久久久久蜜桃不卡|
久久丫精品国产亚洲av不卡
|
伊人久久国产免费观看视频
|
亚洲国产另类久久久精品小说|
国内精品久久久久影院一蜜桃|
国产亚洲成人久久|
久久精品国产99久久久古代|
久久最近最新中文字幕大全|
亚洲精品无码久久久|
久久最近最新中文字幕大全|
久久久SS麻豆欧美国产日韩|
久久精品国产72国产精福利|
久久亚洲高清综合|
久久精品麻豆日日躁夜夜躁|
中文国产成人精品久久亚洲精品AⅤ无码精品|
久久午夜无码鲁丝片|
亚洲欧美一区二区三区久久|
一级做a爰片久久毛片16|
亚洲精品无码久久久久|
久久大香萑太香蕉av|
久久免费观看视频|
国产V综合V亚洲欧美久久|
日韩精品久久久久久久电影|
国产精品日韩深夜福利久久|
久久久久久久97|
久久久亚洲欧洲日产国码aⅴ|
一本大道久久香蕉成人网|
国产精品99久久久久久猫咪|
99re久久精品国产首页2020|
久久久久久国产精品免费无码
|
狠狠色综合久久久久尤物|
精品国产乱码久久久久久郑州公司|
久久久噜噜噜久久中文字幕色伊伊
|
久久香蕉综合色一综合色88|
色婷婷综合久久久中文字幕
|
99久久99久久精品国产|
精品久久久久中文字|
久久99精品久久久久久噜噜|
久久精品国产黑森林|
久久精品国产精品亚洲艾草网美妙|