Linux環境進程間通信（五）: 共享內存

共享內存可以說是最有用的進程間通信方式，也是最快的IPC形式。兩個不同進程A、B共享內存的意思是，同一塊物理內存被映射到進程A、B各自的進程地址空間。進程A可以即時看到進程B對共享內存中數據的更新，反之亦然。由于多個進程共享同一塊內存區域，必然需要某種同步機制，互斥鎖和信號量都可以。
采用共享內存通信的一個顯而易見的好處是效率高，因為進程可以直接讀寫內存，而不需要任何數據的拷貝。對于像管道和消息隊列等通信方式，則需要在內核和用戶空間進行四次的數據拷貝，而共享內存則只拷貝兩次數據[1]：一次從輸入文件到共享內存區，另一次從共享內存區到輸出文件。實際上，進程之間在共享內存時，并不總是讀寫少量數據后就解除映射，有新的通信時，再重新建立共享內存區域。而是保持共享區域，直到通信完畢為止，這樣，數據內容一直保存在共享內存中，并沒有寫回文件。共享內存中的內容往往是在解除映射時才寫回文件的。因此，采用共享內存的通信方式效率是非常高的。

Linux的2.2.x內核支持多種共享內存方式，如mmap()系統調用，Posix共享內存，以及系統V共享內存。linux發行版本如Redhat 8.0支持mmap()系統調用及系統V共享內存，但還沒實現Posix共享內存，本文將主要介紹mmap()系統調用及系統V共享內存API的原理及應用。

一、內核怎樣保證各個進程尋址到同一個共享內存區域的內存頁面

1、page cache及swap cache中頁面的區分：一個被訪問文件的物理頁面都駐留在page cache或swap cache中，一個頁面的所有信息由struct page來描述。struct page中有一個域為指針mapping ，它指向一個struct address_space類型結構。page cache或swap cache中的所有頁面就是根據address_space結構以及一個偏移量來區分的。

2、文件與address_space結構的對應：一個具體的文件在打開后，內核會在內存中為之建立一個struct inode結構，其中的i_mapping域指向一個address_space結構。這樣，一個文件就對應一個address_space結構，一個address_space與一個偏移量能夠確定一個page cache 或swap cache中的一個頁面。因此，當要尋址某個數據時，很容易根據給定的文件及數據在文件內的偏移量而找到相應的頁面。

3、進程調用mmap()時，只是在進程空間內新增了一塊相應大小的緩沖區，并設置了相應的訪問標識，但并沒有建立進程空間到物理頁面的映射。因此，第一次訪問該空間時，會引發一個缺頁異常。

4、對于共享內存映射情況，缺頁異常處理程序首先在swap cache中尋找目標頁（符合address_space以及偏移量的物理頁），如果找到，則直接返回地址；如果沒有找到，則判斷該頁是否在交換區(swap area)，如果在，則執行一個換入操作；如果上述兩種情況都不滿足，處理程序將分配新的物理頁面，并把它插入到page cache中。進程最終將更新進程頁表。
注：對于映射普通文件情況（非共享映射），缺頁異常處理程序首先會在page cache中根據address_space以及數據偏移量尋找相應的頁面。如果沒有找到，則說明文件數據還沒有讀入內存，處理程序會從磁盤讀入相應的頁面，并返回相應地址，同時，進程頁表也會更新。

5、所有進程在映射同一個共享內存區域時，情況都一樣，在建立線性地址與物理地址之間的映射之后，不論進程各自的返回地址如何，實際訪問的必然是同一個共享內存區域對應的物理頁面。
注：一個共享內存區域可以看作是特殊文件系統shm中的一個文件，shm的安裝點在交換區上。

上面涉及到了一些數據結構，圍繞數據結構理解問題會容易一些。



二、mmap()及其相關系統調用

mmap()系統調用使得進程之間通過映射同一個普通文件實現共享內存。普通文件被映射到進程地址空間后，進程可以向訪問普通內存一樣對文件進行訪問，不必再調用read()，write（）等操作。

注：實際上，mmap()系統調用并不是完全為了用于共享內存而設計的。它本身提供了不同于一般對普通文件的訪問方式，進程可以像讀寫內存一樣對普通文件的操作。而Posix或系統V的共享內存IPC則純粹用于共享目的，當然mmap()實現共享內存也是其主要應用之一。

1、mmap()系統調用形式如下：

void* mmap ( void * addr , size_t len , int prot , int flags , int fd , off_t offset )
參數fd為即將映射到進程空間的文件描述字，一般由open()返回，同時，fd可以指定為-1，此時須指定flags參數中的MAP_ANON，表明進行的是匿名映射（不涉及具體的文件名，避免了文件的創建及打開，很顯然只能用于具有親緣關系的進程間通信）。len是映射到調用進程地址空間的字節數，它從被映射文件開頭offset個字節開始算起。prot 參數指定共享內存的訪問權限。可取如下幾個值的或：PROT_READ（可讀） , PROT_WRITE （可寫）, PROT_EXEC （可執行）, PROT_NONE（不可訪問）。flags由以下幾個常值指定：MAP_SHARED , MAP_PRIVATE , MAP_FIXED，其中，MAP_SHARED , MAP_PRIVATE必選其一，而MAP_FIXED則不推薦使用。offset參數一般設為0，表示從文件頭開始映射。參數addr指定文件應被映射到進程空間的起始地址，一般被指定一個空指針，此時選擇起始地址的任務留給內核來完成。函數的返回值為最后文件映射到進程空間的地址，進程可直接操作起始地址為該值的有效地址。這里不再詳細介紹mmap()的參數，讀者可參考mmap()手冊頁獲得進一步的信息。

2、系統調用mmap()用于共享內存的兩種方式：


（1）使用普通文件提供的內存映射：適用于任何進程之間；此時，需要打開或創建一個文件，然后再調用mmap()；典型調用代碼如下：   
fd=open(name, flag, mode); if(fd<0)   ...    ptr=mmap(NULL, len , PROT_READ|PROT_WRITE, MAP_SHARED , fd , 0);
通過mmap()實現共享內存的通信方式有許多特點和要注意的地方，我們將在范例中進行具體說明。

（2）使用特殊文件提供匿名內存映射：適用于具有親緣關系的進程之間；由于父子進程特殊的親緣關系，在父進程中先調用mmap()，然后調用fork()。那么在調用fork()之后，子進程繼承父進程匿名映射后的地址空間，同樣也繼承mmap()返回的地址，這樣，父子進程就可以通過映射區域進行通信了。注意，這里不是一般的繼承關系。一般來說，子進程單獨維護從父進程繼承下來的一些變量。而mmap()返回的地址，卻由父子進程共同維護。
對于具有親緣關系的進程實現共享內存最好的方式應該是采用匿名內存映射的方式。此時，不必指定具體的文件，只要設置相應的標志即可，參見范例2。

3、系統調用munmap()

int munmap( void * addr, size_t len )
該調用在進程地址空間中解除一個映射關系，addr是調用mmap()時返回的地址，len是映射區的大小。當映射關系解除后，對原來映射地址的訪問將導致段錯誤發生。

4、系統調用msync()

int msync ( void * addr , size_t len, int flags)
一般說來，進程在映射空間的對共享內容的改變并不直接寫回到磁盤文件中，往往在調用munmap（）后才執行該操作。可以通過調用msync()實現磁盤上文件內容與共享內存區的內容一致。


三、mmap()范例

下面將給出使用mmap()的兩個范例：范例1給出兩個進程通過映射普通文件實現共享內存通信；范例2給出父子進程通過匿名映射實現共享內存。系統調用mmap()有許多有趣的地方，下面是通過mmap（）映射普通文件實現進程間的通信的范例，我們通過該范例來說明mmap()實現共享內存的特點及注意事項。

范例1：兩個進程通過映射普通文件實現共享內存通信

范例1包含兩個子程序：map_normalfile1.c及map_normalfile2.c。編譯兩個程序，可執行文件分別為map_normalfile1及map_normalfile2。兩個程序通過命令行參數指定同一個文件來實現共享內存方式的進程間通信。map_normalfile2試圖打開命令行參數指定的一個普通文件，把該文件映射到進程的地址空間，并對映射后的地址空間進行寫操作。map_normalfile1把命令行參數指定的文件映射到進程地址空間，然后對映射后的地址空間執行讀操作。這樣，兩個進程通過命令行參數指定同一個文件來實現共享內存方式的進程間通信。

下面是兩個程序代碼：
/*-------------map_normalfile1.c-----------*/ #include <sys/mman.h> #include <sys/types.h> #include <fcntl.h> #include <unistd.h> typedef struct{   char name[4];   int  age; }people; main(int argc, char** argv) // map a normal file as shared mem: {   int fd,i;   people *p_map;   char temp;      fd=open(argv[1],O_CREAT|O_RDWR|O_TRUNC,00777);   lseek(fd,sizeof(people)*5-1,SEEK_SET);   write(fd,"",1);      p_map = (people*) mmap( NULL,sizeof(people)*10,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0 );   close( fd );   temp = 'a';   for(i=0; i<10; i++)   {     temp += 1;     memcpy( ( *(p_map+i) ).name, &temp,2 );     ( *(p_map+i) ).age = 20+i;   }   printf(" initialize over \n ")；   sleep(10);   munmap( p_map, sizeof(people)*10 );   printf( "umap ok \n" ); }
/*-------------map_normalfile2.c-----------*/ #include <sys/mman.h> #include <sys/types.h> #include <fcntl.h> #include <unistd.h> typedef struct{   char name[4];   int  age; }people; main(int argc, char** argv)  // map a normal file as shared mem: {   int fd,i;   people *p_map;   fd=open( argv[1],O_CREAT|O_RDWR,00777 );   p_map = (people*)mmap(NULL,sizeof(people)*10,PROT_READ|PROT_WRITE,MAP_SHARED,fd,0);   for(i = 0;i<10;i++)   {   printf( "name: %s age %d;\n",(*(p_map+i)).name, (*(p_map+i)).age );   }   munmap( p_map,sizeof(people)*10 ); }


map_normalfile1.c首先定義了一個people數據結構，（在這里采用數據結構的方式是因為，共享內存區的數據往往是有固定格式的，這由通信的各個進程決定，采用結構的方式有普遍代表性）。map_normfile1首先打開或創建一個文件，并把文件的長度設置為5個people結構大小。然后從mmap()的返回地址開始，設置了10個people結構。然后，進程睡眠10秒鐘，等待其他進程映射同一個文件，最后解除映射。

map_normfile2.c只是簡單的映射一個文件，并以people數據結構的格式從mmap()返回的地址處讀取10個people結構，并輸出讀取的值，然后解除映射。

分別把兩個程序編譯成可執行文件map_normalfile1和map_normalfile2后，在一個終端上先運行./map_normalfile2 /tmp/test_shm，程序輸出結果如下：

initialize over
umap ok



在map_normalfile1輸出initialize over 之后，輸出umap ok之前，在另一個終端上運行map_normalfile2 /tmp/test_shm，將會產生如下輸出(為了節省空間，輸出結果為稍作整理后的結果)：





在map_normalfile1 輸出umap ok后，運行map_normalfile2則輸出如下結果：





從程序的運行結果中可以得出的結論

1、 最終被映射文件的內容的長度不會超過文件本身的初始大小，即映射不能改變文件的大小；

2、 可以用于進程通信的有效地址空間大小大體上受限于被映射文件的大小，但不完全受限于文件大小。打開文件被截短為5個people結構大小，而在map_normalfile1中初始化了10個people數據結構，在恰當時候（map_normalfile1輸出initialize over 之后，輸出umap ok之前）調用map_normalfile2會發現map_normalfile2將輸出全部10個people結構的值，后面將給出詳細討論。
注：在linux中，內存的保護是以頁為基本單位的，即使被映射文件只有一個字節大小，內核也會為映射分配一個頁面大小的內存。當被映射文件小于一個頁面大小時，進程可以對從mmap()返回地址開始的一個頁面大小進行訪問，而不會出錯；但是，如果對一個頁面以外的地址空間進行訪問，則導致錯誤發生，后面將進一步描述。因此，可用于進程間通信的有效地址空間大小不會超過文件大小及一個頁面大小的和。

3、 文件一旦被映射后，調用mmap()的進程對返回地址的訪問是對某一內存區域的訪問，暫時脫離了磁盤上文件的影響。所有對mmap()返回地址空間的操作只在內存中有意義，只有在調用了munmap()后或者msync()時，才把內存中的相應內容寫回磁盤文件，所寫內容仍然不能超過文件的大小。

范例2：父子進程通過匿名映射實現共享內存
#include <sys/mman.h> #include <sys/types.h> #include <fcntl.h> #include <unistd.h> typedef struct{   char name[4];   int  age; }people; main(int argc, char** argv) {   int i;   people *p_map;   char temp;   p_map=(people*)mmap(NULL,sizeof(people)*10,PROT_READ|PROT_WRITE,MAP_SHARED|MAP_ANONYMOUS,-1,0);   if(fork() == 0)   {     sleep(2);     for(i = 0;i<5;i++)       printf("child read: the %d people's age is %d\n",i+1,(*(p_map+i)).age);     (*p_map).age = 100;     munmap(p_map,sizeof(people)*10); //實際上，進程終止時，會自動解除映射。     exit();   }   temp = 'a';   for(i = 0;i<5;i++)   {     temp += 1;     memcpy((*(p_map+i)).name, &temp,2);     (*(p_map+i)).age=20+i;   }   sleep(5);   printf( "parent read: the first people,s age is %d\n",(*p_map).age );   printf("umap\n");   munmap( p_map,sizeof(people)*10 );   printf( "umap ok\n" ); }

考察程序的輸出結果，體會父子進程匿名共享內存：




四、對mmap()返回地址的訪問

前面對范例運行結構的討論中已經提到，linux采用的是頁式管理機制。對于用mmap()映射普通文件來說，進程會在自己的地址空間新增一塊空間，空間大小由mmap()的len參數指定，注意，進程并不一定能夠對全部新增空間都能進行有效訪問。進程能夠訪問的有效地址大小取決于文件被映射部分的大小。簡單的說，能夠容納文件被映射部分大小的最少頁面個數決定了進程從mmap()返回的地址開始，能夠有效訪問的地址空間大小。超過這個空間大小，內核會根據超過的嚴重程度返回發送不同的信號給進程。可用如下圖示說明：




注意：文件被映射部分而不是整個文件決定了進程能夠訪問的空間大小，另外，如果指定文件的偏移部分，一定要注意為頁面大小的整數倍。下面是對進程映射地址空間的訪問范例：
#include <sys/mman.h> #include <sys/types.h> #include <fcntl.h> #include <unistd.h> typedef struct{   char name[4];   int  age; }people; main(int argc, char** argv) {   int fd,i;   int pagesize,offset;   people *p_map;      pagesize = sysconf(_SC_PAGESIZE);   printf("pagesize is %d\n",pagesize);   fd = open(argv[1],O_CREAT|O_RDWR|O_TRUNC,00777);   lseek(fd,pagesize*2-100,SEEK_SET);   write(fd,"",1);   offset = 0;  //此處offset = 0編譯成版本1；offset = pagesize編譯成版本2   p_map = (people*)mmap(NULL,pagesize*3,PROT_READ|PROT_WRITE,MAP_SHARED,fd,offset);   close(fd);      for(i = 1; i<10; i++)   {     (*(p_map+pagesize/sizeof(people)*i-2)).age = 100;     printf("access page %d over\n",i);     (*(p_map+pagesize/sizeof(people)*i-1)).age = 100;     printf("access page %d edge over, now begin to access page %d\n",i, i+1);     (*(p_map+pagesize/sizeof(people)*i)).age = 100;     printf("access page %d over\n",i+1);   }   munmap(p_map,sizeof(people)*10); }

如程序中所注釋的那樣，把程序編譯成兩個版本，兩個版本主要體現在文件被映射部分的大小不同。文件的大小介于一個頁面與兩個頁面之間（大小為：pagesize*2-99），版本1的被映射部分是整個文件，版本2的文件被映射部分是文件大小減去一個頁面后的剩余部分，不到一個頁面大小(大小為：pagesize-99)。程序中試圖訪問每一個頁面邊界，兩個版本都試圖在進程空間中映射pagesize*3的字節數。

版本1的輸出結果如下：





版本2的輸出結果如下：





結論：采用系統調用mmap()實現進程間通信是很方便的，在應用層上接口非常簡潔。內部實現機制區涉及到了linux存儲管理以及文件系統等方面的內容，可以參考一下相關重要數據結構來加深理解。在本專題的后面部分，將介紹系統v共享內存的實現。

//-----------------------------------------------------------------------------------------------------

在共享內存（上）中，主要圍繞著系統調用mmap()進行討論的，本部分將討論系統V共享內存，并通過實驗結果對比來闡述兩者的異同。系統V共享內存指的是把所有共享數據放在共享內存區域（IPC shared memory region），任何想要訪問該數據的進程都必須在本進程的地址空間新增一塊內存區域，用來映射存放共享數據的物理內存頁面。
系統調用mmap()通過映射一個普通文件實現共享內存。系統V則是通過映射特殊文件系統shm中的文件實現進程間的共享內存通信。也就是說，每個共享內存區域對應特殊文件系統shm中的一個文件（這是通過shmid_kernel結構聯系起來的），后面還將闡述。

1、系統V共享內存原理

進程間需要共享的數據被放在一個叫做IPC共享內存區域的地方，所有需要訪問該共享區域的進程都要把該共享區域映射到本進程的地址空間中去。系統V共享內存通過shmget獲得或創建一個IPC共享內存區域，并返回相應的標識符。內核在保證shmget獲得或創建一個共享內存區，初始化該共享內存區相應的shmid_kernel結構注同時，還將在特殊文件系統shm中，創建并打開一個同名文件，并在內存中建立起該文件的相應dentry及inode結構，新打開的文件不屬于任何一個進程（任何進程都可以訪問該共享內存區）。所有這一切都是系統調用shmget完成的。

注：每一個共享內存區都有一個控制結構struct shmid_kernel，shmid_kernel是共享內存區域中非常重要的一個數據結構，它是存儲管理和文件系統結合起來的橋梁，定義如下：
struct shmid_kernel /* private to the kernel */ {     struct kern_ipc_perm  shm_perm;   struct file *    shm_file;   int      id;   unsigned long    shm_nattch;   unsigned long    shm_segsz;   time_t      shm_atim;   time_t      shm_dtim;   time_t      shm_ctim;   pid_t      shm_cprid;   pid_t      shm_lprid; };


該結構中最重要的一個域應該是shm_file，它存儲了將被映射文件的地址。每個共享內存區對象都對應特殊文件系統shm中的一個文件，一般情況下，特殊文件系統shm中的文件是不能用read()、write()等方法訪問的，當采取共享內存的方式把其中的文件映射到進程地址空間后，可直接采用訪問內存的方式對其訪問。

這里我們采用[1]中的圖表給出與系統V共享內存相關數據結構：




正如消息隊列和信號燈一樣，內核通過數據結構struct ipc_ids shm_ids維護系統中的所有共享內存區域。上圖中的shm_ids.entries變量指向一個ipc_id結構數組，而每個ipc_id結構數組中有個指向kern_ipc_perm結構的指針。到這里讀者應該很熟悉了，對于系統V共享內存區來說，kern_ipc_perm的宿主是shmid_kernel結構，shmid_kernel是用來描述一個共享內存區域的，這樣內核就能夠控制系統中所有的共享區域。同時，在shmid_kernel結構的file類型指針shm_file指向文件系統shm中相應的文件，這樣，共享內存區域就與shm文件系統中的文件對應起來。

在創建了一個共享內存區域后，還要將它映射到進程地址空間，系統調用shmat()完成此項功能。由于在調用shmget()時，已經創建了文件系統shm中的一個同名文件與共享內存區域相對應，因此，調用shmat()的過程相當于映射文件系統shm中的同名文件過程，原理與mmap()大同小異。



2、系統V共享內存API

對于系統V共享內存，主要有以下幾個API：shmat()、shmdt()及shmctl()。
#include <sys/ipc.h> #include <sys/shm.h>


shmget（）用來獲得共享內存區域的ID，如果不存在指定的共享區域就創建相應的區域。shmat()把共享內存區域映射到調用進程的地址空間中去，這樣，進程就可以方便地對共享區域進行訪問操作。shmdt()調用用來解除進程對共享內存區域的映射。shmctl實現對共享內存區域的控制操作。這里我們不對這些系統調用作具體的介紹，讀者可參考相應的手冊頁面，后面的范例中將給出它們的調用方法。

注：shmget的內部實現包含了許多重要的系統V共享內存機制；shmat在把共享內存區域映射到進程空間時，并不真正改變進程的頁表。當進程第一次訪問內存映射區域訪問時，會因為沒有物理頁表的分配而導致一個缺頁異常，然后內核再根據相應的存儲管理機制為共享內存映射區域分配相應的頁表。



3、系統V共享內存限制

在/proc/sys/kernel/目錄下，記錄著系統V共享內存的一下限制，如一個共享內存區的最大字節數shmmax，系統范圍內最大共享內存區標識符數shmmni等，可以手工對其調整，但不推薦這樣做。

在[2]中，給出了這些限制的測試方法，不再贅述。



4、系統V共享內存范例

本部分將給出系統V共享內存API的使用方法，并對比分析系統V共享內存機制與mmap()映射普通文件實現共享內存之間的差異，首先給出兩個進程通過系統V共享內存通信的范例：
/***** testwrite.c *******/ #include <sys/ipc.h> #include <sys/shm.h> #include <sys/types.h> #include <unistd.h> typedef struct{   char name[4];   int age; } people; main(int argc, char** argv) {   int shm_id,i;   key_t key;   char temp;   people *p_map;   char* name = "/dev/shm/myshm2";   key = ftok(name,0);   if(key==-1)     perror("ftok error");   shm_id=shmget(key,4096,IPC_CREAT);     if(shm_id==-1)   {     perror("shmget error");     return;   }   p_map=(people*)shmat(shm_id,NULL,0);   temp='a';   for(i = 0;i<10;i++)   {     temp+=1;     memcpy((*(p_map+i)).name,&temp,1);     (*(p_map+i)).age=20+i;   }   if(shmdt(p_map)==-1)     perror(" detach error "); }
/********** testread.c ************/ #include <sys/ipc.h> #include <sys/shm.h> #include <sys/types.h> #include <unistd.h> typedef struct{   char name[4];   int age; } people; main(int argc, char** argv) {   int shm_id,i;   key_t key;   people *p_map;   char* name = "/dev/shm/myshm2";   key = ftok(name,0);   if(key == -1)     perror("ftok error");   shm_id = shmget(key,4096,IPC_CREAT);     if(shm_id == -1)   {     perror("shmget error");     return;   }   p_map = (people*)shmat(shm_id,NULL,0);   for(i = 0;i<10;i++)   {   printf( "name:%s\n",(*(p_map+i)).name );   printf( "age %d\n",(*(p_map+i)).age );   }   if(shmdt(p_map) == -1)     perror(" detach error "); }

testwrite.c創建一個系統V共享內存區，并在其中寫入格式化數據；testread.c訪問同一個系統V共享內存區，讀出其中的格式化數據。分別把兩個程序編譯為testwrite及testread，先后執行./testwrite及./testread 則./testread輸出結果如下：





通過對試驗結果分析，對比系統V與mmap()映射普通文件實現共享內存通信，可以得出如下結論：

1、 系統V共享內存中的數據，從來不寫入到實際磁盤文件中去；而通過mmap()映射普通文件實現的共享內存通信可以指定何時將數據寫入磁盤文件中。注：前面講到，系統V共享內存機制實際是通過映射特殊文件系統shm中的文件實現的，文件系統shm的安裝點在交換分區上，系統重新引導后，所有的內容都丟失。

2、 系統V共享內存是隨內核持續的，即使所有訪問共享內存的進程都已經正常終止，共享內存區仍然存在（除非顯式刪除共享內存），在內核重新引導之前，對該共享內存區域的任何改寫操作都將一直保留。

3、 通過調用mmap()映射普通文件進行進程間通信時，一定要注意考慮進程何時終止對通信的影響。而通過系統V共享內存實現通信的進程則不然。注：這里沒有給出shmctl的使用范例，原理與消息隊列大同小異。



結論：






參考資料

posted on 2008-04-16 09:08 RedLight 閱讀(396) 評論(0)  編輯 收藏 引用 所屬分類: Linux(C++開發) (rss)