用MapViewOfFile處理大文件時,如果文件過大,如400M,則無法一次性映射入內存,否則會出現1132錯誤,即內存不足。原因可能為操作系統無法找到連續的內存。因此需要通過分頁的方式,逐頁將文件內容映射到內存。
相關資料:
LPVOID MapViewOfFile(HANDLE hFileMappingObject,
DWORD dwDesiredAccess,
DWORD dwFileOffsetHigh,
DWORD dwFileOffsetLow,
DWORD dwNumberOfBytesToMap);
MapViewOfFile()函數負責把文件數據映射到進程的地址空間,參數hFileMappingObject為 CreateFileMapping()返回的文件映像對象句柄。參數dwDesiredAccess則再次指定了對文件數據的訪問方式,而且同樣要與 CreateFileMapping()函數所設置的保護屬性相匹配。雖然這里一再對保護屬性進行重復設置看似多余,但卻可以使應用程序能更多的對數據的保護屬性實行有效控制。MapViewOfFile()函數允許全部或部分映射文件,在映射時,需要指定數據文件的偏移地址以及待映射的長度。其中,文件的偏移地址由DWORD型的參數dwFileOffsetHigh和dwFileOffsetLow組成的64位值來指定,而且必須是操作系統的分配粒度的整數倍,對于Windows操作系統,分配粒度固定為64KB。當然,也可以通過如下代碼來動態獲取當前操作系統的分配粒度:
SYSTEM_INFO sinf;
GetSystemInfo(&sinf);
DWORD dwAllocationGranularity = sinf.dwAllocationGranularity;
參數dwNumberOfBytesToMap指定了數據文件的映射長度,這里需要特別指出的是,對于Windows 9x操作系統,如果MapViewOfFile()無法找到足夠大的區域來存放整個文件映射對象,將返回空值(NULL);但是在Windows 2000下,MapViewOfFile()只需要為必要的視圖找到足夠大的一個區域即可,而無須考慮整個文件映射對象的大小。
由此看出,分頁映射文件時,每頁的起始位置startpos,必須為64K的整數倍。
HANDLE hFile=::CreateFile("c:\\111.dwf",GENERIC_READ,FILE_SHARE_READ | FILE_SHARE_WRITE,NULL,OPEN_EXISTING,FILE_ATTRIBUTE_READONLY,NULL);
////////////////////////////////////////////////////////////////////
// CreateFileMapping 的dwMaximumsize必須設置為0,否則MapViewOfFile中offset>0時,映射失敗
HANDLE m_hCurFileMap = CreateFileMapping
( hFile, NULL, PAGE_READONLY, 0, 0, NULL );
DWORD offset=64*1024;
LPVOID m_pReadBuffer=MapViewOfFile(m_hCurFileMap,FILE_MAP_READ,
(DWORD)0,
(DWORD)(offset & 0xFFFFFFFF),
offset
);
就個人使用情況而言,使用內存映射并不見得比使用流處理要快,前提是流操作的當的話
如果文件沒有碎片,流是不慢的,但是如果磁盤碎片很多,你用流處理100M的文件要1分鐘,可能你處理200M的文件就要3分鐘。
采用分頁機制吧。
例如設定每次映射大小為50M,首先映射第一個50M,處理完后,映射第二個50M。
FileMapping本身支持offset的。