用MapViewOfFile處理大文件時,如果文件過大,如400M,則無法一次性映射入內(nèi)存,否則會出現(xiàn)1132錯誤,即內(nèi)存不足。原因可能為操作系統(tǒng)無法找到連續(xù)的內(nèi)存。因此需要通過分頁的方式,逐頁將文件內(nèi)容映射到內(nèi)存。
相關(guān)資料:
LPVOID MapViewOfFile(HANDLE hFileMappingObject,
DWORD dwDesiredAccess,
DWORD dwFileOffsetHigh,
DWORD dwFileOffsetLow,
DWORD dwNumberOfBytesToMap);
MapViewOfFile()函數(shù)負責(zé)把文件數(shù)據(jù)映射到進程的地址空間,參數(shù)hFileMappingObject為 CreateFileMapping()返回的文件映像對象句柄。參數(shù)dwDesiredAccess則再次指定了對文件數(shù)據(jù)的訪問方式,而且同樣要與 CreateFileMapping()函數(shù)所設(shè)置的保護屬性相匹配。雖然這里一再對保護屬性進行重復(fù)設(shè)置看似多余,但卻可以使應(yīng)用程序能更多的對數(shù)據(jù)的保護屬性實行有效控制。MapViewOfFile()函數(shù)允許全部或部分映射文件,在映射時,需要指定數(shù)據(jù)文件的偏移地址以及待映射的長度。其中,文件的偏移地址由DWORD型的參數(shù)dwFileOffsetHigh和dwFileOffsetLow組成的64位值來指定,而且必須是操作系統(tǒng)的分配粒度的整數(shù)倍,對于Windows操作系統(tǒng),分配粒度固定為64KB。當然,也可以通過如下代碼來動態(tài)獲取當前操作系統(tǒng)的分配粒度:
SYSTEM_INFO sinf;
GetSystemInfo(&sinf);
DWORD dwAllocationGranularity = sinf.dwAllocationGranularity;
參數(shù)dwNumberOfBytesToMap指定了數(shù)據(jù)文件的映射長度,這里需要特別指出的是,對于Windows 9x操作系統(tǒng),如果MapViewOfFile()無法找到足夠大的區(qū)域來存放整個文件映射對象,將返回空值(NULL);但是在Windows 2000下,MapViewOfFile()只需要為必要的視圖找到足夠大的一個區(qū)域即可,而無須考慮整個文件映射對象的大小。
由此看出,分頁映射文件時,每頁的起始位置startpos,必須為64K的整數(shù)倍。
HANDLE hFile=::CreateFile("c:\\111.dwf",GENERIC_READ,FILE_SHARE_READ | FILE_SHARE_WRITE,NULL,OPEN_EXISTING,FILE_ATTRIBUTE_READONLY,NULL);
////////////////////////////////////////////////////////////////////
// CreateFileMapping 的dwMaximumsize必須設(shè)置為0,否則MapViewOfFile中offset>0時,映射失敗
HANDLE m_hCurFileMap = CreateFileMapping
( hFile, NULL, PAGE_READONLY, 0, 0, NULL );
DWORD offset=64*1024;
LPVOID m_pReadBuffer=MapViewOfFile(m_hCurFileMap,FILE_MAP_READ,
(DWORD)0,
(DWORD)(offset & 0xFFFFFFFF),
offset
);
就個人使用情況而言,使用內(nèi)存映射并不見得比使用流處理要快,前提是流操作的當?shù)脑?span lang="EN-US">
如果文件沒有碎片,流是不慢的,但是如果磁盤碎片很多,你用流處理100M的文件要1分鐘,可能你處理200M的文件就要3分鐘。
采用分頁機制吧。
例如設(shè)定每次映射大小為50M,首先映射第一個50M,處理完后,映射第二個50M。
FileMapping本身支持offset的。