• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            posts - 15, comments - 10, trackbacks - 0, articles - 0

            關于map/reduce的combiner運行時機的問題

            Posted on 2012-11-06 23:52 whspecial 閱讀(939) 評論(0)  編輯 收藏 引用 所屬分類: hadoop
               map/reducecombiner到底在什么時候運行?

            在網上大多數資料中,都是說combinermap端運行,發生在map輸出數據之后,經過combiner再傳遞給reducer。但是之前在工作中出現的一個問題導致我發現原來combiner居然也會在reducer端運行,并且會多次運行。
               在網上查了之后發現,這是hadoop-0.18版本引入的新feature
               Changed policy for running combiner. The combiner may be run multiple times as the map's output is sorted and merged. Additionally, it may be run on the reduce side as data is merged. The old semantics are available in Hadoop 0.18 if the user calls: job.setCombineOnlyOnce(true)。
               實際上combiner會在mapper端和reducer端分別運運行,看了下代碼,發生combine的時機在以下:
               1 mapper端的spill階段,在緩存中的記錄超過閾值時會進行combine

            if (spstart != spindex) {

                     …

            combineAndSpill(kvIter, combineInputCounter);

            }

            2 mapper端的merge階段,進行mergespill文件數目>=3時會進行combine

            if (null == combinerClass || numSpills < minSpillsForCombine) {

            Merger.writeFile(kvIter, writer, reporter);

            } else {

            combineCollector.setWriter(writer);

            combineAndSpill(kvIter, combineInputCounter);

            }

            3 reducer端,一定會進行combine


            久久国产精品免费| 久久精品一区二区国产| 成人国内精品久久久久影院| 久久人人爽人人爽人人片av高请| 色综合久久无码五十路人妻| 国内精品伊人久久久久AV影院| 久久综合88熟人妻| 国产精品久久久久乳精品爆| 色99久久久久高潮综合影院| 一本一本久久aa综合精品| 国产精品久久成人影院| 理论片午午伦夜理片久久 | 久久精品成人免费网站| 久久伊人色| 精品熟女少妇av免费久久| 久久久久人妻精品一区三寸蜜桃 | 伊人久久国产免费观看视频| 亚洲va中文字幕无码久久| 国内精品久久久久久不卡影院| 中文字幕热久久久久久久| 国产精品嫩草影院久久| 亚洲国产精品无码久久久秋霞2| 国产精品成人无码久久久久久| 亚洲中文字幕无码久久2017| 久久99热这里只有精品国产 | 国产69精品久久久久777| 亚洲欧美国产日韩综合久久| 精品国产福利久久久| 97精品伊人久久久大香线蕉| 久久精品夜色噜噜亚洲A∨| 久久不见久久见免费视频7| 久久久亚洲欧洲日产国码是AV| 久久精品国产亚洲Aⅴ蜜臀色欲| 国产精品99精品久久免费| 精品国产乱码久久久久软件| 国内精品久久久久影院网站 | 久久国产香蕉一区精品| 亚洲国产精品久久久久| 久久99久久99小草精品免视看 | 久久九九有精品国产23百花影院| 精品国产乱码久久久久久呢 |