因為需要了解底層設(shè)備訪問的原理,所以慣用高層應(yīng)用語言的我,需要了解一下Linux的設(shè)備訪問機制,尤其是處理一組非阻塞IO的原理方法,標(biāo)準(zhǔn)的術(shù)語好像是叫多路復(fù)用。以下文章部分句子有引用之處,恕沒有一一指出出處。
對于接觸過Linux內(nèi)核或設(shè)備驅(qū)動開發(fā)的讀者,一定清楚poll和select系統(tǒng)調(diào)用,以及從2.5版本引入的epoll機制(epoll機制包含三個系統(tǒng)調(diào)用)。網(wǎng)上關(guān)于它們的文章,有說用法的,甚為詳細(xì),更有分析源代碼的,又比較深入,且枝節(jié)頗多。經(jīng)過幾篇文章的閱讀,我把覺得比較核心的東西寫下來吧。我的用意是盡可能以簡單的概念,比對他們?nèi)叩漠愅?/span>
幾經(jīng)查找我才確定下來,poll和select應(yīng)該被歸類為這樣的系統(tǒng)調(diào)用,它們可以阻塞地同時探測一組支持非阻塞的IO設(shè)備,是否有事件發(fā)生(如可讀,可寫,有高優(yōu)先級的錯誤輸出,出現(xiàn)錯誤等等),直至某一個設(shè)備觸發(fā)了事件或者超過了指定的等待時間——也就是它們的職責(zé)不是做IO,而是幫助調(diào)用者尋找當(dāng)前就緒的設(shè)備。同類型的產(chǎn)品是Windows的IOCP,它也是處理多路復(fù)用,只是把IO和探測封裝在了一起了。
準(zhǔn)備的知識有兩點:1、fd;2、op->poll。
在Linux里面,設(shè)備都被抽象為文件,一系列的設(shè)備文件就有自己獨立的虛擬文件系統(tǒng),所以,設(shè)備在系統(tǒng)調(diào)用參數(shù)中的表示就是file description。fd其實就是一個整數(shù)(特別地,標(biāo)準(zhǔn)輸入,輸出,錯誤輸出分別對應(yīng)的fd是0,1,2)。與內(nèi)核打交道的時候,傳遞整數(shù)的fd可以在自己的文件系統(tǒng)中作進(jìn)一步的檢查是否合法,如果只是返回指針就不能這樣操作了,畢竟指針是無差別無意義的。
通過fd訪問file,通過file可以訪問其fileOperator,這里面我們要關(guān)心的一個fileOp就是poll。因為系統(tǒng)調(diào)用poll和select,就是依靠這個文件操作poll實現(xiàn)的。poll文件操作有兩個參數(shù),一個是文件本身,一個可以看做是當(dāng)設(shè)備尚未就緒時調(diào)用的回調(diào)函數(shù),這個函數(shù)是把設(shè)備自己特有的等待隊列傳給內(nèi)核,讓內(nèi)核把當(dāng)前的進(jìn)程掛載到其中(因為當(dāng)設(shè)備就緒時,設(shè)備就應(yīng)該去喚醒在自己特有等待隊列中的所有節(jié)點,這樣當(dāng)前進(jìn)程就獲取了完成的信號了)。poll文件操作返回的必須是一組標(biāo)準(zhǔn)的掩碼,其中的各個位指示當(dāng)前的不同的就緒狀態(tài)(全0為沒有任何事件觸發(fā))。
再談?wù)勗缙诙嗦窂?fù)用的版本poll和select。
本質(zhì)而言,poll和select的共同點就是,對全部指定設(shè)備做一次poll,當(dāng)然這往往都是還沒有就緒的,那就會通過回調(diào)函數(shù)把當(dāng)前進(jìn)程注冊到設(shè)備的等待隊列,如果所有設(shè)備返回的掩碼都沒有顯示任何的事件觸發(fā),就去掉回調(diào)函數(shù)的函數(shù)指針,進(jìn)入有限時的睡眠狀態(tài),再恢復(fù)和不斷做poll,再作有限時的睡眠,直到其中一個設(shè)備有事件觸發(fā)為止。只要有事件觸發(fā),系統(tǒng)調(diào)用返回,回到用戶態(tài),用戶就可以對相關(guān)的fd作進(jìn)一步的讀或者寫操作了。當(dāng)然,這個時候還不是所有的設(shè)備都就緒的喔,那就得不斷地poll或者select了,而做一次這樣的系統(tǒng)調(diào)用都得輪詢所有的設(shè)備,次數(shù)是設(shè)備數(shù)*(睡眠次數(shù)-1),也就是時間復(fù)雜度是O(n),還得做幾次O(n)呢。可見,對于現(xiàn)在普遍的服務(wù)器程序,需要同時并發(fā)監(jiān)聽數(shù)千個連接,并且連接需要重復(fù)使用的情況,poll和select就存在這樣的性能瓶頸。另外,數(shù)千個設(shè)備fd在每次調(diào)用時,都需要將其從用戶空間復(fù)制到內(nèi)核空間,這里的開銷不可忽略。
poll和select放在一起,是因為其機制一致,而參數(shù)和數(shù)據(jù)結(jié)構(gòu)就略有不同。select一次性傳入三組作用于不同信道的設(shè)備fd,分別是輸入,輸出和錯誤異常。各組的fd期待各組所特有的,由代碼指定的一組事件,如輸入信道期待輸入就緒,輸入掛起和錯誤等事件。 然后,select就挑選調(diào)用者關(guān)心的fd做poll文件操作,檢測返回的掩碼,看看是否有fd所屬信道感興趣的事件,比如看看這個屬于輸出信道的fd有沒有輸出就緒等一系列的事件發(fā)生,一樣地,如果有一個fd發(fā)生感興趣事件就返回調(diào)用了。select,為了同時處理三組使用不同的事件判斷規(guī)則的fd,采用了位圖的方式表示,一組一個位圖,位長度是當(dāng)中最大的fd值,上限是1024,三組就是3072,而且這還只是傳入的位圖,還有一樣大小的傳出的位圖。當(dāng)fd數(shù)越來越多時,所需的存儲開銷比較大。
既然,一組fd處理起來比較粗放,那就各個fd自己準(zhǔn)備好了。poll()系統(tǒng)調(diào)用是System V的多元I/O解決方案。它有三個參數(shù),第一個是pollfd結(jié)構(gòu)的數(shù)組指針,也就是指向一組fd及其相關(guān)信息的指針,因為這個結(jié)構(gòu)包含的除了fd,還有期待的事件掩碼和返回的事件掩碼,實質(zhì)上就是將select的中的fd,傳入和傳出參數(shù)歸到一個結(jié)構(gòu)之下,也不再把fd分為三組,也不再硬性規(guī)定fd感興趣的事件,這由調(diào)用者自己設(shè)定。這樣,不使用位圖來組織數(shù)據(jù),也就不需要位圖的全部遍歷了。按照一般隊列地遍歷,每個fd做poll文件操作,檢查返回的掩碼是否有期待的事件,以及做是否有掛起和錯誤的必要性檢查,如果有事件觸發(fā),就可以返回調(diào)用了。
回到poll和select的共同點,面對高并發(fā)多連接的應(yīng)用情境,它們顯現(xiàn)出原來沒有考慮到的不足,雖然poll比起select又有所改進(jìn)了。除了上述的關(guān)于每次調(diào)用都需要做一次從用戶空間到內(nèi)核空間的拷貝,還有這樣的問題,就是當(dāng)處于這樣的應(yīng)用情境時,poll和select會不得不多次操作,并且每次操作都很有可能需要多次進(jìn)入睡眠狀態(tài),也就是多次全部輪詢fd,我們應(yīng)該怎么處理一些會出現(xiàn)重復(fù)而無意義的操作。
這些重復(fù)而無意義的操作有:1、從用戶到內(nèi)核空間拷貝,既然長期監(jiān)視這幾個fd,甚至連期待的事件也不會改變,那拷貝無疑就是重復(fù)而無意義的,我們可以讓內(nèi)核長期保存所有需要監(jiān)視的fd甚至期待事件,或者可以再需要時對部分期待事件進(jìn)行修改;2、將當(dāng)前線程輪流加入到每個fd對應(yīng)設(shè)備的等待隊列,這樣做無非是哪一個設(shè)備就緒時能夠通知進(jìn)程退出調(diào)用,聰明的開發(fā)者想到,那就找個“代理”的回調(diào)函數(shù),代替當(dāng)前進(jìn)程加入fd的等待隊列好了(這也是我后來才總結(jié)出來,Linux的等待隊列,實質(zhì)上是回調(diào)函數(shù)隊列吧,也可以使用宏來將當(dāng)前進(jìn)程“加入”等待隊列,其實就是將喚醒當(dāng)前進(jìn)程的回調(diào)函數(shù)加入隊列)。這樣,像poll系統(tǒng)調(diào)用一樣,做poll文件操作發(fā)現(xiàn)尚未就緒時,它就調(diào)用傳入的一個回調(diào)函數(shù),這是epoll指定的回調(diào)函數(shù),它不再像以前的poll系統(tǒng)調(diào)用指定的回調(diào)函數(shù)那樣,而是就將那個“代理”的回調(diào)函數(shù)加入設(shè)備的等待隊列就好了,這個代理的回調(diào)函數(shù)就自己乖乖地等待設(shè)備就緒時將它喚醒,然后它就把這個設(shè)備fd放到一個指定的地方,同時喚醒可能在等待的進(jìn)程,到這個指定的地方取fd就好了。我們把1和2結(jié)合起來就可以這樣做了,只拷貝一次fd,一旦確定了fd就可以做poll文件操作,如果有事件當(dāng)然好啦,馬上就把fd放到指定的地方,而通常都是沒有的,那就給這個fd的等待隊列加一個回調(diào)函數(shù),有事件就自動把fd放到指定的地方,當(dāng)前進(jìn)程不需要再一個個poll和睡眠等待了。
epoll機制就是這樣改進(jìn)的了。誠然,fd少的時候,當(dāng)前進(jìn)程一個個地等問題不大,可是現(xiàn)在和尚多了,方丈就不好管了。以前設(shè)備事件觸發(fā)時,只負(fù)責(zé)喚醒當(dāng)前進(jìn)程就好了,而當(dāng)前進(jìn)程也只能傻傻地在poll里面等待或者循環(huán),再來一次poll,也不知道這個由設(shè)備提供的poll性能如何,能不能檢查出當(dāng)前進(jìn)程已經(jīng)在等待了就立即返回,當(dāng)然,我也不明白為什么做了一遍的poll之后,去掉回調(diào)函數(shù)指針了,還得再做,不是說好了會去喚醒進(jìn)程的嗎?
現(xiàn)在就讓事件觸發(fā)回調(diào)函數(shù)多做一步。本來設(shè)備還沒就緒就調(diào)用一個回調(diào)函數(shù)了,現(xiàn)在再在這個回調(diào)函數(shù)里面做一個注冊另一個回調(diào)函數(shù)的操作,目的就是使得設(shè)備事件觸發(fā)多走一步,不僅僅是喚醒當(dāng)前進(jìn)程,還要把自己的fd放到指定的地方。就像收本子的班長,以前得一個個學(xué)生地去問有沒有本子,如果沒有,它還得等待一段時間而后又繼續(xù)問,現(xiàn)在好了,只走一次,如果沒有本子,班長就告訴大家去那里交本子,當(dāng)班長想起要取本子,就去那里看看或者等待一定時間后離開,有本子到了就叫醒他,然后取走。這個道理很簡單,就是老師和班干們常說的,大家多做一點工作,我的工作就輕松很多了,尤其是需要管理的東西越來越多時。
這種機制或者說模式,我想在Java的FutureTask里面應(yīng)該也會用到的,一堆在線程池里面跑著的線程(當(dāng)然這是任務(wù),不是線程,接口是Callable<V>,不是Runnable.run,是Callable.call,它是可以返回結(jié)果的),誰先做好就應(yīng)該先處理呀,可是難道得一個個問嗎?干脆就誰好了,誰就按照既定的操作暴露自己,這樣FutureTask的get方法就可以馬上知道當(dāng)前最先完成的線程了,就可以取此線程返回結(jié)果了。
epoll由三個系統(tǒng)調(diào)用組成,分別是epoll_create,epoll_ctl和epoll_wait。epoll_create用于創(chuàng)建和初始化一些內(nèi)部使用的數(shù)據(jù)結(jié)構(gòu);epoll_ctl用于添加,刪除或者修改指定的fd及其期待的事件,epoll_wait就是用于等待任何先前指定的fd事件。
關(guān)于epoll內(nèi)部的數(shù)據(jù)結(jié)構(gòu),我就不能詳細(xì)了解了。