• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            Linux環(huán)境進(jìn)程間通信(五): 共享內(nèi)存


            共享內(nèi)存可以說是最有用的進(jìn)程間通信方式,也是最快的IPC形式。兩個不同進(jìn)程A、B共享內(nèi)存的意思是,同一塊物理內(nèi)存被映射到進(jìn)程A、B各自的進(jìn)程地址空間。進(jìn)程A可以即時看到進(jìn)程B對共享內(nèi)存中數(shù)據(jù)的更新,反之亦然。由于多個進(jìn)程共享同一塊內(nèi)存區(qū)域,必然需要某種同步機(jī)制,互斥鎖和信號量都可以。
            采用共享內(nèi)存通信的一個顯而易見的好處是效率高,因?yàn)檫M(jìn)程可以直接讀寫內(nèi)存,而不需要任何數(shù)據(jù)的拷貝。對于像管道和消息隊(duì)列等通信方式,則需要在內(nèi)核和用戶空間進(jìn)行四次的數(shù)據(jù)拷貝,而共享內(nèi)存則只拷貝兩次數(shù)據(jù)[1]:一次從輸入文件到共享內(nèi)存區(qū),另一次從共享內(nèi)存區(qū)到輸出文件。實(shí)際上,進(jìn)程之間在共享內(nèi)存時,并不總是讀寫少量數(shù)據(jù)后就解除映射,有新的通信時,再重新建立共享內(nèi)存區(qū)域。而是保持共享區(qū)域,直到通信完畢為止,這樣,數(shù)據(jù)內(nèi)容一直保存在共享內(nèi)存中,并沒有寫回文件。共享內(nèi)存中的內(nèi)容往往是在解除映射時才寫回文件的。因此,采用共享內(nèi)存的通信方式效率是非常高的。

            Linux的2.2.x內(nèi)核支持多種共享內(nèi)存方式,如mmap()系統(tǒng)調(diào)用,Posix共享內(nèi)存,以及系統(tǒng)V共享內(nèi)存。linux發(fā)行版本如Redhat 8.0支持mmap()系統(tǒng)調(diào)用及系統(tǒng)V共享內(nèi)存,但還沒實(shí)現(xiàn)Posix共享內(nèi)存,本文將主要介紹mmap()系統(tǒng)調(diào)用及系統(tǒng)V共享內(nèi)存API的原理及應(yīng)用。

            一、內(nèi)核怎樣保證各個進(jìn)程尋址到同一個共享內(nèi)存區(qū)域的內(nèi)存頁面

            1、page cache及swap cache中頁面的區(qū)分:一個被訪問文件的物理頁面都駐留在page cache或swap cache中,一個頁面的所有信息由struct page來描述。struct page中有一個域?yàn)橹羔榤apping ,它指向一個struct address_space類型結(jié)構(gòu)。page cache或swap cache中的所有頁面就是根據(jù)address_space結(jié)構(gòu)以及一個偏移量來區(qū)分的。

            2、文件與address_space結(jié)構(gòu)的對應(yīng):一個具體的文件在打開后,內(nèi)核會在內(nèi)存中為之建立一個struct inode結(jié)構(gòu),其中的i_mapping域指向一個address_space結(jié)構(gòu)。這樣,一個文件就對應(yīng)一個address_space結(jié)構(gòu),一個address_space與一個偏移量能夠確定一個page cache 或swap cache中的一個頁面。因此,當(dāng)要尋址某個數(shù)據(jù)時,很容易根據(jù)給定的文件及數(shù)據(jù)在文件內(nèi)的偏移量而找到相應(yīng)的頁面。

            3、進(jìn)程調(diào)用mmap()時,只是在進(jìn)程空間內(nèi)新增了一塊相應(yīng)大小的緩沖區(qū),并設(shè)置了相應(yīng)的訪問標(biāo)識,但并沒有建立進(jìn)程空間到物理頁面的映射。因此,第一次訪問該空間時,會引發(fā)一個缺頁異常。

            4、對于共享內(nèi)存映射情況,缺頁異常處理程序首先在swap cache中尋找目標(biāo)頁(符合address_space以及偏移量的物理頁),如果找到,則直接返回地址;如果沒有找到,則判斷該頁是否在交換區(qū)(swap area),如果在,則執(zhí)行一個換入操作;如果上述兩種情況都不滿足,處理程序?qū)⒎峙湫碌奈锢眄撁妫阉迦氲絧age cache中。進(jìn)程最終將更新進(jìn)程頁表。
            注:對于映射普通文件情況(非共享映射),缺頁異常處理程序首先會在page cache中根據(jù)address_space以及數(shù)據(jù)偏移量尋找相應(yīng)的頁面。如果沒有找到,則說明文件數(shù)據(jù)還沒有讀入內(nèi)存,處理程序會從磁盤讀入相應(yīng)的頁面,并返回相應(yīng)地址,同時,進(jìn)程頁表也會更新。

            5、所有進(jìn)程在映射同一個共享內(nèi)存區(qū)域時,情況都一樣,在建立線性地址與物理地址之間的映射之后,不論進(jìn)程各自的返回地址如何,實(shí)際訪問的必然是同一個共享內(nèi)存區(qū)域?qū)?yīng)的物理頁面。
            注:一個共享內(nèi)存區(qū)域可以看作是特殊文件系統(tǒng)shm中的一個文件,shm的安裝點(diǎn)在交換區(qū)上。

            上面涉及到了一些數(shù)據(jù)結(jié)構(gòu),圍繞數(shù)據(jù)結(jié)構(gòu)理解問題會容易一些。



            二、mmap()及其相關(guān)系統(tǒng)調(diào)用

            mmap()系統(tǒng)調(diào)用使得進(jìn)程之間通過映射同一個普通文件實(shí)現(xiàn)共享內(nèi)存。普通文件被映射到進(jìn)程地址空間后,進(jìn)程可以向訪問普通內(nèi)存一樣對文件進(jìn)行訪問,不必再調(diào)用read(),write()等操作。

            注:實(shí)際上,mmap()系統(tǒng)調(diào)用并不是完全為了用于共享內(nèi)存而設(shè)計(jì)的。它本身提供了不同于一般對普通文件的訪問方式,進(jìn)程可以像讀寫內(nèi)存一樣對普通文件的操作。而Posix或系統(tǒng)V的共享內(nèi)存IPC則純粹用于共享目的,當(dāng)然mmap()實(shí)現(xiàn)共享內(nèi)存也是其主要應(yīng)用之一。

            1、mmap()系統(tǒng)調(diào)用形式如下

            1. void* mmap ( void * addr , size_t len , int prot , int flags , int fd , off_t offset )    

            參數(shù)fd為即將映射到進(jìn)程空間的文件描述字,一般由open()返回,同時,fd可以指定為-1,此時須指定flags參數(shù)中的MAP_ANON,表明進(jìn)行的是匿名映射(不涉及具體的文件名,避免了文件的創(chuàng)建及打開,很顯然只能用于具有親緣關(guān)系的進(jìn)程間通信)。len是映射到調(diào)用進(jìn)程地址空間的字節(jié)數(shù),它從被映射文件開頭offset個字節(jié)開始算起。prot 參數(shù)指定共享內(nèi)存的訪問權(quán)限。可取如下幾個值的或:PROT_READ(可讀) , PROT_WRITE (可寫), PROT_EXEC (可執(zhí)行), PROT_NONE(不可訪問)。flags由以下幾個常值指定:MAP_SHARED , MAP_PRIVATE , MAP_FIXED,其中,MAP_SHARED , MAP_PRIVATE必選其一,而MAP_FIXED則不推薦使用。offset參數(shù)一般設(shè)為0,表示從文件頭開始映射。參數(shù)addr指定文件應(yīng)被映射到進(jìn)程空間的起始地址,一般被指定一個空指針,此時選擇起始地址的任務(wù)留給內(nèi)核來完成。函數(shù)的返回值為最后文件映射到進(jìn)程空間的地址,進(jìn)程可直接操作起始地址為該值的有效地址。這里不再詳細(xì)介紹mmap()的參數(shù),讀者可參考mmap()手冊頁獲得進(jìn)一步的信息。

            2、系統(tǒng)調(diào)用mmap()用于共享內(nèi)存的兩種方式


            (1)使用普通文件提供的內(nèi)存映射:適用于任何進(jìn)程之間;此時,需要打開或創(chuàng)建一個文件,然后再調(diào)用mmap();典型調(diào)用代碼如下:   
            1. fd=open(name, flag, mode);   
            2. if(fd<0)   
            3.   ...   
            4.       
            5.   
            6. ptr=mmap(NULL, len , PROT_READ|PROT_WRITE, MAP_SHARED , fd , 0);    

            通過mmap()實(shí)現(xiàn)共享內(nèi)存的通信方式有許多特點(diǎn)和要注意的地方,我們將在范例中進(jìn)行具體說明。

            (2)使用特殊文件提供匿名內(nèi)存映射:適用于具有親緣關(guān)系的進(jìn)程之間;由于父子進(jìn)程特殊的親緣關(guān)系,在父進(jìn)程中先調(diào)用mmap(),然后調(diào)用fork()。那么在調(diào)用fork()之后,子進(jìn)程繼承父進(jìn)程匿名映射后的地址空間,同樣也繼承mmap()返回的地址,這樣,父子進(jìn)程就可以通過映射區(qū)域進(jìn)行通信了。注意,這里不是一般的繼承關(guān)系。一般來說,子進(jìn)程單獨(dú)維護(hù)從父進(jìn)程繼承下來的一些變量。而mmap()返回的地址,卻由父子進(jìn)程共同維護(hù)。
            對于具有親緣關(guān)系的進(jìn)程實(shí)現(xiàn)共享內(nèi)存最好的方式應(yīng)該是采用匿名內(nèi)存映射的方式。此時,不必指定具體的文件,只要設(shè)置相應(yīng)的標(biāo)志即可,參見范例2。

            3、系統(tǒng)調(diào)用munmap()

            1. int munmap( void * addr, size_t len )    

            該調(diào)用在進(jìn)程地址空間中解除一個映射關(guān)系,addr是調(diào)用mmap()時返回的地址,len是映射區(qū)的大小。當(dāng)映射關(guān)系解除后,對原來映射地址的訪問將導(dǎo)致段錯誤發(fā)生。

            4、系統(tǒng)調(diào)用msync()

            1. int msync ( void * addr , size_t len, int flags)    

            一般說來,進(jìn)程在映射空間的對共享內(nèi)容的改變并不直接寫回到磁盤文件中,往往在調(diào)用munmap()后才執(zhí)行該操作。可以通過調(diào)用msync()實(shí)現(xiàn)磁盤上文件內(nèi)容與共享內(nèi)存區(qū)的內(nèi)容一致。


            三、mmap()范例

            下面將給出使用mmap()的兩個范例:范例1給出兩個進(jìn)程通過映射普通文件實(shí)現(xiàn)共享內(nèi)存通信;范例2給出父子進(jìn)程通過匿名映射實(shí)現(xiàn)共享內(nèi)存。系統(tǒng)調(diào)用mmap()有許多有趣的地方,下面是通過mmap()映射普通文件實(shí)現(xiàn)進(jìn)程間的通信的范例,我們通過該范例來說明mmap()實(shí)現(xiàn)共享內(nèi)存的特點(diǎn)及注意事項(xiàng)。

            范例1:兩個進(jìn)程通過映射普通文件實(shí)現(xiàn)共享內(nèi)存通信

            范例1包含兩個子程序:map_normalfile1.c及map_normalfile2.c。編譯兩個程序,可執(zhí)行文件分別為map_normalfile1及map_normalfile2。兩個程序通過命令行參數(shù)指定同一個文件來實(shí)現(xiàn)共享內(nèi)存方式的進(jìn)程間通信。map_normalfile2試圖打開命令行參數(shù)指定的一個普通文件,把該文件映射到進(jìn)程的地址空間,并對映射后的地址空間進(jìn)行寫操作。map_normalfile1把命令行參數(shù)指定的文件映射到進(jìn)程地址空間,然后對映射后的地址空間執(zhí)行讀操作。這樣,兩個進(jìn)程通過命令行參數(shù)指定同一個文件來實(shí)現(xiàn)共享內(nèi)存方式的進(jìn)程間通信。

            下面是兩個程序代碼:
            1. /*-------------map_normalfile1.c-----------*/  
            2. #include <sys/mman.h>   
            3. #include <sys/types.h>   
            4. #include <fcntl.h>   
            5. #include <unistd.h>   
            6. typedef struct{   
            7.   char name[4];   
            8.   int  age;   
            9. }people;   
            10. main(int argc, char** argv) // map a normal file as shared mem:   
            11. {   
            12.   int fd,i;   
            13.   people *p_map;   
            14.   char temp;   
            15.      
            16.   fd=open(argv[1],O_CREAT|O_RDWR|O_TRUNC,00777);   
            17.   lseek(fd,sizeof(people)*5-1,SEEK_SET);   
            18.   write(fd,"",1);   
            19.      
            20.   p_map = (people*) mmap( NULL,sizeof(people)*10,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0 );   
            21.   close( fd );   
            22.   temp = 'a';   
            23.   for(i=0; i<10; i++)   
            24.   {   
            25.     temp += 1;   
            26.     memcpy( ( *(p_map+i) ).name, &temp,2 );   
            27.     ( *(p_map+i) ).age = 20+i;   
            28.   }   
            29.   printf(" initialize over \n ");   
            30.   sleep(10);   
            31.   munmap( p_map, sizeof(people)*10 );   
            32.   printf( "umap ok \n" );   
            33. }   

            1. /*-------------map_normalfile2.c-----------*/  
            2. #include <sys/mman.h>   
            3. #include <sys/types.h>   
            4. #include <fcntl.h>   
            5. #include <unistd.h>   
            6. typedef struct{   
            7.   char name[4];   
            8.   int  age;   
            9. }people;   
            10. main(int argc, char** argv)  // map a normal file as shared mem:   
            11. {   
            12.   int fd,i;   
            13.   people *p_map;   
            14.   fd=open( argv[1],O_CREAT|O_RDWR,00777 );   
            15.   p_map = (people*)mmap(NULL,sizeof(people)*10,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0);   
            16.   for(i = 0;i<10;i++)   
            17.   {   
            18.   printf( "name: %s age %d;\n",(*(p_map+i)).name, (*(p_map+i)).age );   
            19.   }   
            20.   munmap( p_map,sizeof(people)*10 );   
            21. }   



            map_normalfile1.c首先定義了一個people數(shù)據(jù)結(jié)構(gòu),(在這里采用數(shù)據(jù)結(jié)構(gòu)的方式是因?yàn)椋蚕韮?nèi)存區(qū)的數(shù)據(jù)往往是有固定格式的,這由通信的各個進(jìn)程決定,采用結(jié)構(gòu)的方式有普遍代表性)。map_normfile1首先打開或創(chuàng)建一個文件,并把文件的長度設(shè)置為5個people結(jié)構(gòu)大小。然后從mmap()的返回地址開始,設(shè)置了10個people結(jié)構(gòu)。然后,進(jìn)程睡眠10秒鐘,等待其他進(jìn)程映射同一個文件,最后解除映射。

            map_normfile2.c只是簡單的映射一個文件,并以people數(shù)據(jù)結(jié)構(gòu)的格式從mmap()返回的地址處讀取10個people結(jié)構(gòu),并輸出讀取的值,然后解除映射。

            分別把兩個程序編譯成可執(zhí)行文件map_normalfile1和map_normalfile2后,在一個終端上先運(yùn)行./map_normalfile2 /tmp/test_shm,程序輸出結(jié)果如下:

            initialize over
            umap ok



            在map_normalfile1輸出initialize over 之后,輸出umap ok之前,在另一個終端上運(yùn)行map_normalfile2 /tmp/test_shm,將會產(chǎn)生如下輸出(為了節(jié)省空間,輸出結(jié)果為稍作整理后的結(jié)果):

            引用
            name: b  age 20;  name: c  age 21;  name: d  age 22;  name: e  age 23;  name: f  age 24;
            name: g  age 25;  name: h  age 26;  name: I  age 27;  name: j  age 28;  name: k  age 29;




            在map_normalfile1 輸出umap ok后,運(yùn)行map_normalfile2則輸出如下結(jié)果:

            引用
            name: b  age 20;  name: c  age 21;  name: d  age 22;  name: e  age 23;  name: f  age 24;
            name:  age 0;  name:  age 0;  name:  age 0;  name:  age 0;  name:  age 0;




            從程序的運(yùn)行結(jié)果中可以得出的結(jié)論

            1、 最終被映射文件的內(nèi)容的長度不會超過文件本身的初始大小,即映射不能改變文件的大小;

            2、 可以用于進(jìn)程通信的有效地址空間大小大體上受限于被映射文件的大小,但不完全受限于文件大小。打開文件被截短為5個people結(jié)構(gòu)大小,而在map_normalfile1中初始化了10個people數(shù)據(jù)結(jié)構(gòu),在恰當(dāng)時候(map_normalfile1輸出initialize over 之后,輸出umap ok之前)調(diào)用map_normalfile2會發(fā)現(xiàn)map_normalfile2將輸出全部10個people結(jié)構(gòu)的值,后面將給出詳細(xì)討論。
            注:在linux中,內(nèi)存的保護(hù)是以頁為基本單位的,即使被映射文件只有一個字節(jié)大小,內(nèi)核也會為映射分配一個頁面大小的內(nèi)存。當(dāng)被映射文件小于一個頁面大小時,進(jìn)程可以對從mmap()返回地址開始的一個頁面大小進(jìn)行訪問,而不會出錯;但是,如果對一個頁面以外的地址空間進(jìn)行訪問,則導(dǎo)致錯誤發(fā)生,后面將進(jìn)一步描述。因此,可用于進(jìn)程間通信的有效地址空間大小不會超過文件大小及一個頁面大小的和。

            3、 文件一旦被映射后,調(diào)用mmap()的進(jìn)程對返回地址的訪問是對某一內(nèi)存區(qū)域的訪問,暫時脫離了磁盤上文件的影響。所有對mmap()返回地址空間的操作只在內(nèi)存中有意義,只有在調(diào)用了munmap()后或者msync()時,才把內(nèi)存中的相應(yīng)內(nèi)容寫回磁盤文件,所寫內(nèi)容仍然不能超過文件的大小。

            范例2:父子進(jìn)程通過匿名映射實(shí)現(xiàn)共享內(nèi)存
            1. #include <sys/mman.h>   
            2. #include <sys/types.h>   
            3. #include <fcntl.h>   
            4. #include <unistd.h>   
            5. typedef struct{   
            6.   char name[4];   
            7.   int  age;   
            8. }people;   
            9. main(int argc, char** argv)   
            10. {   
            11.   int i;   
            12.   people *p_map;   
            13.   char temp;   
            14.   p_map=(people*)mmap(NULL,sizeof(people)*10,PROT_READ|PROT_WRITE,MAP_SHARED|MAP_ANONYMOUS,-1,0);   
            15.   if(fork() == 0)   
            16.   {   
            17.     sleep(2);   
            18.     for(i = 0;i<5;i++)   
            19.       printf("child read: the %d people's age is %d\n",i+1,(*(p_map+i)).age);   
            20.     (*p_map).age = 100;   
            21.     munmap(p_map,sizeof(people)*10); //實(shí)際上,進(jìn)程終止時,會自動解除映射。   
            22.     exit();   
            23.   }   
            24.   temp = 'a';   
            25.   for(i = 0;i<5;i++)   
            26.   {   
            27.     temp += 1;   
            28.     memcpy((*(p_map+i)).name, &temp,2);   
            29.     (*(p_map+i)).age=20+i;   
            30.   }   
            31.   sleep(5);   
            32.   printf( "parent read: the first people,s age is %d\n",(*p_map).age );   
            33.   printf("umap\n");   
            34.   munmap( p_map,sizeof(people)*10 );   
            35.   printf( "umap ok\n" );   
            36. }   
            37.     


            考察程序的輸出結(jié)果,體會父子進(jìn)程匿名共享內(nèi)存:

            引用
            child read: the 1 people's age is 20
            child read: the 2 people's age is 21
            child read: the 3 people's age is 22
            child read: the 4 people's age is 23
            child read: the 5 people's age is 24
            parent read: the first people,s age is 100
            umap
            umap ok



            四、對mmap()返回地址的訪問

            前面對范例運(yùn)行結(jié)構(gòu)的討論中已經(jīng)提到,linux采用的是頁式管理機(jī)制。對于用mmap()映射普通文件來說,進(jìn)程會在自己的地址空間新增一塊空間,空間大小由mmap()的len參數(shù)指定,注意,進(jìn)程并不一定能夠?qū)θ啃略隹臻g都能進(jìn)行有效訪問。進(jìn)程能夠訪問的有效地址大小取決于文件被映射部分的大小。簡單的說,能夠容納文件被映射部分大小的最少頁面?zhèn)€數(shù)決定了進(jìn)程從mmap()返回的地址開始,能夠有效訪問的地址空間大小。超過這個空間大小,內(nèi)核會根據(jù)超過的嚴(yán)重程度返回發(fā)送不同的信號給進(jìn)程。可用如下圖示說明:




            注意:文件被映射部分而不是整個文件決定了進(jìn)程能夠訪問的空間大小,另外,如果指定文件的偏移部分,一定要注意為頁面大小的整數(shù)倍。下面是對進(jìn)程映射地址空間的訪問范例:
            1. #include <sys/mman.h>   
            2. #include <sys/types.h>   
            3. #include <fcntl.h>   
            4. #include <unistd.h>   
            5. typedef struct{   
            6.   char name[4];   
            7.   int  age;   
            8. }people;   
            9. main(int argc, char** argv)   
            10. {   
            11.   int fd,i;   
            12.   int pagesize,offset;   
            13.   people *p_map;   
            14.      
            15.   pagesize = sysconf(_SC_PAGESIZE);   
            16.   printf("pagesize is %d\n",pagesize);   
            17.   fd = open(argv[1],O_CREAT|O_RDWR|O_TRUNC,00777);   
            18.   lseek(fd,pagesize*2-100,SEEK_SET);   
            19.   write(fd,"",1);   
            20.   offset = 0;  //此處offset = 0編譯成版本1;offset = pagesize編譯成版本2   
            21.   p_map = (people*)mmap(NULL,pagesize*3,PROT_READ|PROT_WRITE,MAP_SHARED,fd,offset);   
            22.   close(fd);   
            23.      
            24.   for(i = 1; i<10; i++)   
            25.   {   
            26.     (*(p_map+pagesize/sizeof(people)*i-2)).age = 100;   
            27.     printf("access page %d over\n",i);   
            28.     (*(p_map+pagesize/sizeof(people)*i-1)).age = 100;   
            29.     printf("access page %d edge over, now begin to access page %d\n",i, i+1);   
            30.     (*(p_map+pagesize/sizeof(people)*i)).age = 100;   
            31.     printf("access page %d over\n",i+1);   
            32.   }   
            33.   munmap(p_map,sizeof(people)*10);   
            34. }   
            35.     


            如程序中所注釋的那樣,把程序編譯成兩個版本,兩個版本主要體現(xiàn)在文件被映射部分的大小不同。文件的大小介于一個頁面與兩個頁面之間(大小為:pagesize*2-99),版本1的被映射部分是整個文件,版本2的文件被映射部分是文件大小減去一個頁面后的剩余部分,不到一個頁面大小(大小為:pagesize-99)。程序中試圖訪問每一個頁面邊界,兩個版本都試圖在進(jìn)程空間中映射pagesize*3的字節(jié)數(shù)。

            版本1的輸出結(jié)果如下:

            引用
            pagesize is 4096
            access page 1 over
            access page 1 edge over, now begin to access page 2
            access page 2 over
            access page 2 over
            access page 2 edge over, now begin to access page 3
            Bus error    //被映射文件在進(jìn)程空間中覆蓋了兩個頁面,此時,進(jìn)程試圖訪問第三個頁面




            版本2的輸出結(jié)果如下:

            引用
            pagesize is 4096
            access page 1 over
            access page 1 edge over, now begin to access page 2
            Bus error    //被映射文件在進(jìn)程空間中覆蓋了一個頁面,此時,進(jìn)程試圖訪問第二個頁面




            結(jié)論:采用系統(tǒng)調(diào)用mmap()實(shí)現(xiàn)進(jìn)程間通信是很方便的,在應(yīng)用層上接口非常簡潔。內(nèi)部實(shí)現(xiàn)機(jī)制區(qū)涉及到了linux存儲管理以及文件系統(tǒng)等方面的內(nèi)容,可以參考一下相關(guān)重要數(shù)據(jù)結(jié)構(gòu)來加深理解。在本專題的后面部分,將介紹系統(tǒng)v共享內(nèi)存的實(shí)現(xiàn)。

            //-----------------------------------------------------------------------------------------------------

            在共享內(nèi)存(上)中,主要圍繞著系統(tǒng)調(diào)用mmap()進(jìn)行討論的,本部分將討論系統(tǒng)V共享內(nèi)存,并通過實(shí)驗(yàn)結(jié)果對比來闡述兩者的異同。系統(tǒng)V共享內(nèi)存指的是把所有共享數(shù)據(jù)放在共享內(nèi)存區(qū)域(IPC shared memory region),任何想要訪問該數(shù)據(jù)的進(jìn)程都必須在本進(jìn)程的地址空間新增一塊內(nèi)存區(qū)域,用來映射存放共享數(shù)據(jù)的物理內(nèi)存頁面。
            系統(tǒng)調(diào)用mmap()通過映射一個普通文件實(shí)現(xiàn)共享內(nèi)存。系統(tǒng)V則是通過映射特殊文件系統(tǒng)shm中的文件實(shí)現(xiàn)進(jìn)程間的共享內(nèi)存通信。也就是說,每個共享內(nèi)存區(qū)域?qū)?yīng)特殊文件系統(tǒng)shm中的一個文件(這是通過shmid_kernel結(jié)構(gòu)聯(lián)系起來的),后面還將闡述。

            1、系統(tǒng)V共享內(nèi)存原理

            進(jìn)程間需要共享的數(shù)據(jù)被放在一個叫做IPC共享內(nèi)存區(qū)域的地方,所有需要訪問該共享區(qū)域的進(jìn)程都要把該共享區(qū)域映射到本進(jìn)程的地址空間中去。系統(tǒng)V共享內(nèi)存通過shmget獲得或創(chuàng)建一個IPC共享內(nèi)存區(qū)域,并返回相應(yīng)的標(biāo)識符。內(nèi)核在保證shmget獲得或創(chuàng)建一個共享內(nèi)存區(qū),初始化該共享內(nèi)存區(qū)相應(yīng)的shmid_kernel結(jié)構(gòu)注同時,還將在特殊文件系統(tǒng)shm中,創(chuàng)建并打開一個同名文件,并在內(nèi)存中建立起該文件的相應(yīng)dentry及inode結(jié)構(gòu),新打開的文件不屬于任何一個進(jìn)程(任何進(jìn)程都可以訪問該共享內(nèi)存區(qū))。所有這一切都是系統(tǒng)調(diào)用shmget完成的。

            注:每一個共享內(nèi)存區(qū)都有一個控制結(jié)構(gòu)struct shmid_kernel,shmid_kernel是共享內(nèi)存區(qū)域中非常重要的一個數(shù)據(jù)結(jié)構(gòu),它是存儲管理和文件系統(tǒng)結(jié)合起來的橋梁,定義如下:
            1. struct shmid_kernel /* private to the kernel */  
            2. {     
            3.   struct kern_ipc_perm  shm_perm;   
            4.   struct file *    shm_file;   
            5.   int      id;   
            6.   unsigned long    shm_nattch;   
            7.   unsigned long    shm_segsz;   
            8.   time_t      shm_atim;   
            9.   time_t      shm_dtim;   
            10.   time_t      shm_ctim;   
            11.   pid_t      shm_cprid;   
            12.   pid_t      shm_lprid;   
            13. };   



            該結(jié)構(gòu)中最重要的一個域應(yīng)該是shm_file,它存儲了將被映射文件的地址。每個共享內(nèi)存區(qū)對象都對應(yīng)特殊文件系統(tǒng)shm中的一個文件,一般情況下,特殊文件系統(tǒng)shm中的文件是不能用read()、write()等方法訪問的,當(dāng)采取共享內(nèi)存的方式把其中的文件映射到進(jìn)程地址空間后,可直接采用訪問內(nèi)存的方式對其訪問。

            這里我們采用[1]中的圖表給出與系統(tǒng)V共享內(nèi)存相關(guān)數(shù)據(jù)結(jié)構(gòu):




            正如消息隊(duì)列和信號燈一樣,內(nèi)核通過數(shù)據(jù)結(jié)構(gòu)struct ipc_ids shm_ids維護(hù)系統(tǒng)中的所有共享內(nèi)存區(qū)域。上圖中的shm_ids.entries變量指向一個ipc_id結(jié)構(gòu)數(shù)組,而每個ipc_id結(jié)構(gòu)數(shù)組中有個指向kern_ipc_perm結(jié)構(gòu)的指針。到這里讀者應(yīng)該很熟悉了,對于系統(tǒng)V共享內(nèi)存區(qū)來說,kern_ipc_perm的宿主是shmid_kernel結(jié)構(gòu),shmid_kernel是用來描述一個共享內(nèi)存區(qū)域的,這樣內(nèi)核就能夠控制系統(tǒng)中所有的共享區(qū)域。同時,在shmid_kernel結(jié)構(gòu)的file類型指針shm_file指向文件系統(tǒng)shm中相應(yīng)的文件,這樣,共享內(nèi)存區(qū)域就與shm文件系統(tǒng)中的文件對應(yīng)起來。

            在創(chuàng)建了一個共享內(nèi)存區(qū)域后,還要將它映射到進(jìn)程地址空間,系統(tǒng)調(diào)用shmat()完成此項(xiàng)功能。由于在調(diào)用shmget()時,已經(jīng)創(chuàng)建了文件系統(tǒng)shm中的一個同名文件與共享內(nèi)存區(qū)域相對應(yīng),因此,調(diào)用shmat()的過程相當(dāng)于映射文件系統(tǒng)shm中的同名文件過程,原理與mmap()大同小異。



            2、系統(tǒng)V共享內(nèi)存API

            對于系統(tǒng)V共享內(nèi)存,主要有以下幾個API:shmat()、shmdt()及shmctl()。
            1. #include <sys/ipc.h>   
            2. #include <sys/shm.h>   



            shmget()用來獲得共享內(nèi)存區(qū)域的ID,如果不存在指定的共享區(qū)域就創(chuàng)建相應(yīng)的區(qū)域。shmat()把共享內(nèi)存區(qū)域映射到調(diào)用進(jìn)程的地址空間中去,這樣,進(jìn)程就可以方便地對共享區(qū)域進(jìn)行訪問操作。shmdt()調(diào)用用來解除進(jìn)程對共享內(nèi)存區(qū)域的映射。shmctl實(shí)現(xiàn)對共享內(nèi)存區(qū)域的控制操作。這里我們不對這些系統(tǒng)調(diào)用作具體的介紹,讀者可參考相應(yīng)的手冊頁面,后面的范例中將給出它們的調(diào)用方法。

            注:shmget的內(nèi)部實(shí)現(xiàn)包含了許多重要的系統(tǒng)V共享內(nèi)存機(jī)制;shmat在把共享內(nèi)存區(qū)域映射到進(jìn)程空間時,并不真正改變進(jìn)程的頁表。當(dāng)進(jìn)程第一次訪問內(nèi)存映射區(qū)域訪問時,會因?yàn)闆]有物理頁表的分配而導(dǎo)致一個缺頁異常,然后內(nèi)核再根據(jù)相應(yīng)的存儲管理機(jī)制為共享內(nèi)存映射區(qū)域分配相應(yīng)的頁表。



            3、系統(tǒng)V共享內(nèi)存限制

            在/proc/sys/kernel/目錄下,記錄著系統(tǒng)V共享內(nèi)存的一下限制,如一個共享內(nèi)存區(qū)的最大字節(jié)數(shù)shmmax,系統(tǒng)范圍內(nèi)最大共享內(nèi)存區(qū)標(biāo)識符數(shù)shmmni等,可以手工對其調(diào)整,但不推薦這樣做。

            在[2]中,給出了這些限制的測試方法,不再贅述。



            4、系統(tǒng)V共享內(nèi)存范例

            本部分將給出系統(tǒng)V共享內(nèi)存API的使用方法,并對比分析系統(tǒng)V共享內(nèi)存機(jī)制與mmap()映射普通文件實(shí)現(xiàn)共享內(nèi)存之間的差異,首先給出兩個進(jìn)程通過系統(tǒng)V共享內(nèi)存通信的范例:
            1. /***** testwrite.c *******/  
            2. #include <sys/ipc.h>   
            3. #include <sys/shm.h>   
            4. #include <sys/types.h>   
            5. #include <unistd.h>   
            6. typedef struct{   
            7.   char name[4];   
            8.   int age;   
            9. } people;   
            10. main(int argc, char** argv)   
            11. {   
            12.   int shm_id,i;   
            13.   key_t key;   
            14.   char temp;   
            15.   people *p_map;   
            16.   char* name = "/dev/shm/myshm2";   
            17.   key = ftok(name,0);   
            18.   if(key==-1)   
            19.     perror("ftok error");   
            20.   shm_id=shmget(key,4096,IPC_CREAT);     
            21.   if(shm_id==-1)   
            22.   {   
            23.     perror("shmget error");   
            24.     return;   
            25.   }   
            26.   p_map=(people*)shmat(shm_id,NULL,0);   
            27.   temp='a';   
            28.   for(i = 0;i<10;i++)   
            29.   {   
            30.     temp+=1;   
            31.     memcpy((*(p_map+i)).name,&temp,1);   
            32.     (*(p_map+i)).age=20+i;   
            33.   }   
            34.   if(shmdt(p_map)==-1)   
            35.     perror(" detach error ");   
            36. }   

            1. /********** testread.c ************/  
            2. #include <sys/ipc.h>   
            3. #include <sys/shm.h>   
            4. #include <sys/types.h>   
            5. #include <unistd.h>   
            6. typedef struct{   
            7.   char name[4];   
            8.   int age;   
            9. } people;   
            10. main(int argc, char** argv)   
            11. {   
            12.   int shm_id,i;   
            13.   key_t key;   
            14.   people *p_map;   
            15.   char* name = "/dev/shm/myshm2";   
            16.   key = ftok(name,0);   
            17.   if(key == -1)   
            18.     perror("ftok error");   
            19.   shm_id = shmget(key,4096,IPC_CREAT);     
            20.   if(shm_id == -1)   
            21.   {   
            22.     perror("shmget error");   
            23.     return;   
            24.   }   
            25.   p_map = (people*)shmat(shm_id,NULL,0);   
            26.   for(i = 0;i<10;i++)   
            27.   {   
            28.   printf( "name:%s\n",(*(p_map+i)).name );   
            29.   printf( "age %d\n",(*(p_map+i)).age );   
            30.   }   
            31.   if(shmdt(p_map) == -1)   
            32.     perror(" detach error ");   
            33. }   
            34.     


            testwrite.c創(chuàng)建一個系統(tǒng)V共享內(nèi)存區(qū),并在其中寫入格式化數(shù)據(jù);testread.c訪問同一個系統(tǒng)V共享內(nèi)存區(qū),讀出其中的格式化數(shù)據(jù)。分別把兩個程序編譯為testwrite及testread,先后執(zhí)行./testwrite及./testread 則./testread輸出結(jié)果如下:

            引用
            name: b  age 20;  name: c  age 21;  name: d  age 22;  name: e  age 23;  name: f  age 24;
            name: g  age 25;  name: h  age 26;  name: I  age 27;  name: j  age 28;  name: k  age 29;




            通過對試驗(yàn)結(jié)果分析,對比系統(tǒng)V與mmap()映射普通文件實(shí)現(xiàn)共享內(nèi)存通信,可以得出如下結(jié)論:

            1、 系統(tǒng)V共享內(nèi)存中的數(shù)據(jù),從來不寫入到實(shí)際磁盤文件中去;而通過mmap()映射普通文件實(shí)現(xiàn)的共享內(nèi)存通信可以指定何時將數(shù)據(jù)寫入磁盤文件中。注:前面講到,系統(tǒng)V共享內(nèi)存機(jī)制實(shí)際是通過映射特殊文件系統(tǒng)shm中的文件實(shí)現(xiàn)的,文件系統(tǒng)shm的安裝點(diǎn)在交換分區(qū)上,系統(tǒng)重新引導(dǎo)后,所有的內(nèi)容都丟失。

            2、 系統(tǒng)V共享內(nèi)存是隨內(nèi)核持續(xù)的,即使所有訪問共享內(nèi)存的進(jìn)程都已經(jīng)正常終止,共享內(nèi)存區(qū)仍然存在(除非顯式刪除共享內(nèi)存),在內(nèi)核重新引導(dǎo)之前,對該共享內(nèi)存區(qū)域的任何改寫操作都將一直保留。

            3、 通過調(diào)用mmap()映射普通文件進(jìn)行進(jìn)程間通信時,一定要注意考慮進(jìn)程何時終止對通信的影響。而通過系統(tǒng)V共享內(nèi)存實(shí)現(xiàn)通信的進(jìn)程則不然。注:這里沒有給出shmctl的使用范例,原理與消息隊(duì)列大同小異。



            結(jié)論:

            引用
            共享內(nèi)存允許兩個或多個進(jìn)程共享一給定的存儲區(qū),因?yàn)閿?shù)據(jù)不需要來回復(fù)制,所以是最快的一種進(jìn)程間通信機(jī)制。共享內(nèi)存可以通過mmap()映射普通文件(特殊情況下還可以采用匿名映射)機(jī)制實(shí)現(xiàn),也可以通過系統(tǒng)V共享內(nèi)存機(jī)制實(shí)現(xiàn)。應(yīng)用接口和原理很簡單,內(nèi)部機(jī)制復(fù)雜。為了實(shí)現(xiàn)更安全通信,往往還與信號燈等同步機(jī)制共同使用。

            共享內(nèi)存涉及到了存儲管理以及文件系統(tǒng)等方面的知識,深入理解其內(nèi)部機(jī)制有一定的難度,關(guān)鍵還要緊緊抓住內(nèi)核使用的重要數(shù)據(jù)結(jié)構(gòu)。系統(tǒng)V共享內(nèi)存是以文件的形式組織在特殊文件系統(tǒng)shm中的。通過shmget可以創(chuàng)建或獲得共享內(nèi)存的標(biāo)識符。取得共享內(nèi)存標(biāo)識符后,要通過shmat將這個內(nèi)存區(qū)映射到本進(jìn)程的虛擬地址空間。





            參考資料

            引用
            [1] Understanding the Linux Kernel, 2nd Edition, By Daniel P. Bovet, Marco Cesati , 對各主題闡述得重點(diǎn)突出,脈絡(luò)清晰。

            [2] UNIX網(wǎng)絡(luò)編程第二卷:進(jìn)程間通信,作者:W.Richard Stevens,譯者:楊繼張,清華大學(xué)出版社。對mmap()有詳細(xì)闡述。

            [3] Linux內(nèi)核源代碼情景分析(上),毛德操、胡希明著,浙江大學(xué)出版社,給出了mmap()相關(guān)的源代碼分析。

            [4]shmget、shmat、shmctl、shmdt手冊


            posted on 2008-04-16 09:08 RedLight 閱讀(396) 評論(0)  編輯 收藏 引用 所屬分類: Linux(C++開發(fā)) (rss)

            <2008年9月>
            31123456
            78910111213
            14151617181920
            21222324252627
            2829301234
            567891011

            導(dǎo)航

            統(tǒng)計(jì)

            公告


            Name: Galen
            QQ: 88104725

            常用鏈接

            留言簿(3)

            隨筆分類

            隨筆檔案

            相冊

            My Friend

            搜索

            最新評論

            閱讀排行榜

            評論排行榜

            国产精品成人99久久久久 | 国产精品熟女福利久久AV| 99久久综合国产精品免费| 欧美色综合久久久久久| 国内精品伊人久久久影院| 亚洲婷婷国产精品电影人久久| 热RE99久久精品国产66热| 国产成人精品久久| 亚洲午夜精品久久久久久app| 波多野结衣久久精品| 久久亚洲国产成人精品性色| 久久水蜜桃亚洲av无码精品麻豆| 久久国产精品久久国产精品| 热久久国产欧美一区二区精品 | 久久亚洲AV无码精品色午夜麻豆| 日日噜噜夜夜狠狠久久丁香五月| 久久99国产精品久久99果冻传媒| 大香网伊人久久综合网2020| 色诱久久av| 狠狠精品久久久无码中文字幕 | 中文字幕日本人妻久久久免费| 国产毛片久久久久久国产毛片 | 久久久精品午夜免费不卡| 午夜久久久久久禁播电影| 污污内射久久一区二区欧美日韩| 久久精品国产亚洲AV无码麻豆| 伊人久久综合无码成人网| 国产精品99精品久久免费| 久久精品无码一区二区无码| 久久久国产精品| 久久久久久一区国产精品| 久久精品人人做人人爽97| 久久久久国产精品人妻| 亚洲精品乱码久久久久久蜜桃图片 | 久久妇女高潮几次MBA| 精品久久久久国产免费| 欧美一区二区精品久久| 热久久这里只有精品| 久久精品国产精品国产精品污| 国产精品禁18久久久夂久| 潮喷大喷水系列无码久久精品|