• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            posts - 15, comments - 10, trackbacks - 0, articles - 0
               map/reducecombiner到底在什么時(shí)候運(yùn)行?

            在網(wǎng)上大多數(shù)資料中,都是說(shuō)combinermap端運(yùn)行,發(fā)生在map輸出數(shù)據(jù)之后,經(jīng)過(guò)combiner再傳遞給reducer。但是之前在工作中出現(xiàn)的一個(gè)問(wèn)題導(dǎo)致我發(fā)現(xiàn)原來(lái)combiner居然也會(huì)在reducer端運(yùn)行,并且會(huì)多次運(yùn)行。
               在網(wǎng)上查了之后發(fā)現(xiàn),這是hadoop-0.18版本引入的新feature
               Changed policy for running combiner. The combiner may be run multiple times as the map's output is sorted and merged. Additionally, it may be run on the reduce side as data is merged. The old semantics are available in Hadoop 0.18 if the user calls: job.setCombineOnlyOnce(true)
               實(shí)際上combiner會(huì)在mapper端和reducer端分別運(yùn)運(yùn)行,看了下代碼,發(fā)生combine的時(shí)機(jī)在以下:
               1 mapper端的spill階段,在緩存中的記錄超過(guò)閾值時(shí)會(huì)進(jìn)行combine

            if (spstart != spindex) {

                     …

            combineAndSpill(kvIter, combineInputCounter);

            }

            2 mapper端的merge階段,進(jìn)行mergespill文件數(shù)目>=3時(shí)會(huì)進(jìn)行combine

            if (null == combinerClass || numSpills < minSpillsForCombine) {

            Merger.writeFile(kvIter, writer, reporter);

            } else {

            combineCollector.setWriter(writer);

            combineAndSpill(kvIter, combineInputCounter);

            }

            3 reducer端,一定會(huì)進(jìn)行combine


            久久这里只精品国产99热| 亚洲国产成人精品女人久久久| 三级三级久久三级久久| 国产精品成人久久久| 久久精品国产日本波多野结衣| 久久久久亚洲精品天堂| 国产精品免费久久久久影院| 久久国产欧美日韩精品免费| 亚洲愉拍99热成人精品热久久 | 亚洲国产成人久久综合一| 日韩中文久久| 99久久婷婷国产综合亚洲| 久久这里只有精品视频99| 狠狠色婷婷综合天天久久丁香 | 久久久久无码专区亚洲av| 狠色狠色狠狠色综合久久| 色老头网站久久网| 色综合久久天天综合| 天天躁日日躁狠狠久久| 久久精品人人做人人妻人人玩| 久久精品成人| 色综合久久中文色婷婷| 狠狠色噜噜狠狠狠狠狠色综合久久| 热久久视久久精品18| 久久久久久久久久久免费精品| 国产亚洲美女精品久久久久狼| 久久精品国产久精国产果冻传媒| 欧美激情精品久久久久| 久久久久人妻一区精品色 | 色青青草原桃花久久综合| 久久国产午夜精品一区二区三区| 久久99国产精品99久久| 久久99精品久久久久久动态图 | 久久免费国产精品| 国产成人精品久久一区二区三区av| 日韩精品久久久肉伦网站| 国产精品99精品久久免费| 人人狠狠综合久久88成人| 人妻精品久久无码专区精东影业| 久久综合久久自在自线精品自| 久久久久久精品无码人妻|