寫入UTF-16文件的時候,不要忘記在文件頭添加BOM
windows下的Unicode是UTF-16,每個字都用兩個字節來表示。編程的時候,通過TEXT宏,以及在項目中定義Unicode, _Unicode變量,就可以保證整個項目都是在Unicode下工作。
現在在將字符串寫入文件的時候,發生了一些問題。寫文件用的是WriteFile函數,字符串本身都是UTF-16的,寫入文件后發現用vim和記事本打開都無法正確顯示。用16進制的方式查看,每個字都是對的,都是2個字節,如果是英文字母,第二個字節就是00。
google了一下,發現了答案。要在文件開頭寫入0xfffe,這是Unicode file的identifier,windows下的記事本和寫字板讀到這個頭之后,就能正確識別這是一個Unicode文件了。所以,在代碼中,創建文本文件的時候,要多寫這樣一段:
// logfile doesn't exist, create it, that's all
hFile = CreateFile(log_file_path, GENERIC_WRITE, NULL, NULL, CREATE_NEW, FILE_ATTRIBUTE_NORMAL, NULL);
if (hFile == INVALID_HANDLE_VALUE) {
operate_result = FALSE;
} else {
// write 0xfffe at the beginning of the file, this makes Notepad reads Unicodes well
WORD unicode_identifier = 0xfeff;
if (WriteFile(hFile, &unicode_identifier, sizeof(WORD), &bytes_written, NULL)) {
operate_result = TRUE;
} else {
operate_result = FALSE;
}
}
goto finished;
finished:
if (hFile != NULL && hFile != INVALID_HANDLE_VALUE)
CloseHandle(hFile);
return operate_result;
這里不要奇怪為什么設置給unicode_identifier變量的值是0xfeff,這是因為x86是little endian,所以代碼中的oxfeff存在寄存器中,然后設置到內存的時候,從低地址到高地址就變成了fffe,這樣最后將這個WORD寫入文件之后就正好是fffe了。
最后我自己又測試了一下,寫入中文也是沒有問題的。使用gvim來打開的話需要設置一下,我在Ubuntu下打開文件是OK的,windows下的gvim的.vimrc設置和Ubuntu一樣的話,應該也是沒問題的。
posted on 2012-02-29 16:48 肥仔 閱讀(2236) 評論(0) 編輯 收藏 引用 所屬分類: 字符編碼