內(nèi)存映射文件是利用虛擬內(nèi)存把文件映射到進(jìn)程的地址空間中去,在此之后進(jìn)程操作文件,就像操作進(jìn)程空間里的地址一樣了,比如使用memcpy等內(nèi)存操作的函數(shù)。這種方法能夠很好的應(yīng)用在需要頻繁處理一個文件或者是一個大文件的場合,這種方式處理IO效率比普通IO效率要高。優(yōu)勢:
1)速度快
2)可以在源文件中修改文件內(nèi)容,或者在文件的任意位置添加字符到文件中,就好像操作字符數(shù)組一樣,不必執(zhí)行I/O操作,并且不必對文件內(nèi)存進(jìn)行緩存。原理為:把
數(shù)據(jù)文件的一部分 映射到虛擬地址空間,但沒有提交實(shí)際內(nèi)存(也就是說作為頁面文件),當(dāng)有指令要存取這段內(nèi)存時同樣會產(chǎn)
生頁面錯誤異常.操作系統(tǒng)捕獲到這個異常后,分配一頁內(nèi)存,映射內(nèi)存到發(fā)生異常的位置,然后把要訪問的數(shù)據(jù)讀入到這塊內(nèi)存,繼續(xù)執(zhí)行剛才產(chǎn)生異常的指令
(這里我理解的意思是把剛才產(chǎn)生異常的指令在執(zhí)行一次,這次由于數(shù)據(jù)已經(jīng)映射到內(nèi)存中,指令就可以順利執(zhí)行過去),由上面的分析可知,應(yīng)用程序訪問虛擬地
址空間時由操作系統(tǒng)管理數(shù)據(jù)在讀入等內(nèi)容,應(yīng)用程序本身不需要調(diào)用文件的I/O函數(shù)(這點(diǎn)我覺得很重要,也就是為什么使用內(nèi)存映射文件技術(shù)對內(nèi)存的訪問就
象是對磁盤上的文件訪問一樣).
使用方法:
1)創(chuàng)建或打開一個文件內(nèi)核對象,用這個內(nèi)核對象標(biāo)識磁盤上需要映射的文件(CreateFile)
2)
創(chuàng)建一個文件映射內(nèi)核對象,告訴系統(tǒng)需要映射的對象需要多少物理存儲器(可以大于或小于文件大小)及訪問權(quán)限(CreateFileMapping),但
創(chuàng)建一個文件映射對象時,系統(tǒng)并不為它保留地址空間區(qū)域,也不將文件的存儲器映射到這個區(qū)域,函數(shù)的主要作用是保證文件映射對象能夠獲取足夠的物理存儲
器。
3)讓系統(tǒng)將文件對象的全部或者部分映射到進(jìn)程的地址空間(MapViewOfFile)。有兩件事必須要處理:首先,必須告訴系統(tǒng)數(shù)據(jù)文件中的哪個字節(jié)將作為視圖中的第一個字節(jié)來映射。其次,必須告訴系統(tǒng),文件中有多少個字節(jié)需要映射到地址空間。
當(dāng)然釋放過程與上述過程相反。具體的函數(shù)詳細(xì)說明可參考MSDN或windows核心編程。
下面是使用內(nèi)存映射文件處理大文件的代碼示例:
1 SYSTEM_INFO sinf;
2 GetSystemInfo(&sinf);
3
4 // Open the file for reading and writing.
5 HANDLE hFile = CreateFile(pszPathname, GENERIC_WRITE | GENERIC_READ, 0,
6 NULL, OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, NULL);
7 if (hFile == INVALID_HANDLE_VALUE) {
8 chMB("File could not be opened.");
9 return(FALSE);
10 }
11
12 // Get the size of the file (I assume the whole file can be mapped) in bytes.
13 DWORD dwFileSize = GetFileSize(hFile, NULL);
14
15 // Create the file-mapping object.
16 HANDLE hFileMap = CreateFileMapping(hFile, NULL, PAGE_READWRITE,
17 0, dwFileSize, NULL);
18 if (hFileMap == NULL) {
19 chMB("File map could not be opened.");
20 CloseHandle(hFile);
21 return(FALSE);
22 }
23
24 DWORD map_data_offset = 0;
25 DWORD bytes_mapped = sinf.dwAllocationGranularity;
26 PVOID pvFile = NULL;
27 PSTR ps_ptr = NULL;
28
29 while(dwFileSize > 0)
30 {
31 if(dwFileSize < bytes_mapped)
32 {
33 pvFile = MapViewOfFile(hFileMap, FILE_MAP_WRITE, 0, map_data_offset, dwFileSize);
34 //對字符數(shù)組pvFile的處理
35 map_data_offset += dwFileSize;
36 dwFileSize = 0;
37 }
38 else
39 {
40 pvFile = MapViewOfFile(hFileMap,FILE_MAP_WRITE,0,map_data_offset,bytes_mapped);
41 //對字符數(shù)組pvFile的處理
42 map_data_offset += bytes_mapped;
43 dwFileSize -= bytes_mapped;
44 }
45 }
46 // Clean up everything before exiting.
47 UnmapViewOfFile(pvFile);
48 CloseHandle(hFileMap);
49 // Remove trailing zero character added earlier.
50 SetFilePointer(hFile, dwFileSize, NULL, FILE_BEGIN);
51 CloseHandle(hFile);
注意:
1)文件映射對象存儲于內(nèi)核地址范圍是所有操作系統(tǒng)的進(jìn)程共享的,而MapViewOfFile
文件映射地址空間是存在于進(jìn)程的私有地址空間中,要想指定地址空間首地址可用MapViewOfFile
Ex函數(shù),但只是建議首地址。2)使用fstream流是無法做到在本文件的任何位置插入數(shù)據(jù)的,fstream只能通過另外新建一個磁盤文件來操作,這樣的話效率是明顯不如內(nèi)存文件映射的,而且操作起來比較復(fù)雜。