學習 unicode 也有一段時間了，雖然說沒有學得很好，但是卻是學到了許多東西啊，所以稍微小結一下，免得忘了，呵呵。很早就接觸過 unicode 這個詞了。不過以前太天真了，以為 unicode 是一件非常簡單的事情，很容易就解決了。只要用 TCHAR 代替 CHAR ，在所有的字符串前面加上 TEXT ，然后在 vc 里面 Preprocessor definitions 加上 _UNICODE ， UNICODE 就 OK 了。實際上，僅僅這樣，還有很多疑惑不能解決。

1、 Windows XP 完全使用 unicode 開發，那為什么在 xp 下還會有亂碼呢？

內碼的存在，內碼不兼容 unicode 。或者要解釋的不是unicode，而當前不支持該編碼。

2、 為什么有 UTF-8 、 16 、 32 ？為什么說 UTF-8 是 unicode 的呢？ unicode 不都是 16 位的嗎？

為了兼容現在的編碼。

3、 codepage 是什么東西？為什么存在？

4、 什么是國際化、本地化？為什么國際化、本地化那么困難？

Locale 。舉個簡單的例子：不同地方的日期的顯示格式不同。

5、 DBCS 是什么咚咚？它與 UTF-8 ， unicode 有什么聯系？

UTF-8 是屬于 unicode 規范的，而 DBCS 不是。 UTF-8 是不定字節的（從一字節到六字節），而 DBCS 是雙字節的。 DBCS 與 ASCII 同時存在來處理遠東的一些字符（結合 codepage 來使用， GBK 與 Big5 的 range 就有交錯的），而 UTF-8 是 unicode 規范的實現，它包含了所有的字符。從 Windows2K 開始，從 Windows 系統的底層實現，已經全面基于 Unicode ，同時仍保證完全兼容 ANSI/DBCS 程序。

?

以下是對我這一階段學習的小結：
一、 ???????????????????? 什么是 unicode ？

Unicode provides a unique number for every character,
no matter what the platform,
no matter what the program,
no matter what the language.

歷史上有兩個組織想獨立創立單一字符集，一個是國際標準化組織（ ISO ）的 ISO 10646 ，另一個是由很多大企業（ Apple 、 Compaq 、 HP 、 IBM 、 Microsoft 、 Oracle 等）組成的協會組織的 unicode 。 1991 年前后，他們合并了雙方的工作，統一了編碼表。雖然這兩個組織都還獨立的存在，但是他們的標準是兼容的。

Unicode 協會公布的 Unicode 標準嚴密地包含了 ISO 10646-1 實現級別 3 的基本多語言面。在兩個標準里所有的字符都在相同的位置并且有相同的名字。

Unicode 標準額外定義了許多與字符有關的語義符號學，一般而言是對于實現高質量的印刷出版系統的更好的參考。 Unicode 詳細說明了繪制某些語言 ( 比如阿拉伯語 ) 表達形式的算法，處理雙向文字 ( 比如拉丁與希伯來文混合文字 ) 的算法和排序與字符串比較所需的算法，以及其他許多東西。

另一方面 , ISO 10646 標準 , 就象廣為人知的 ISO 8859 標準一樣 , 只不過是一個簡單的字符集表 . 它指定了一些與標準有關的術語 , 定義了一些編碼的別名 , 并包括了規范說明 , 指定了怎樣使用 UCS 連接其他 ISO 標準的實現 , 比如 ISO 6429 和 ISO 2022. 還有一些與 ISO 緊密相關的 , 比如 ISO 14651 是關于 UCS 字符串排序的 .

考慮到 Unicode 標準有一個易記的名字 , 且在任何好的書店里的 Addison-Wesley 里有 , 只花費 ISO 版本的一小部分 , 且包括更多的輔助信息 , 因而它成為使用廣泛得多的參考也就不足為奇了 .

二、 ???????????????????? UTF-8 、 16 、 32

UTF ： Unicode Transformation Format

首先 UCS （ Unicode Char Set ）和 Unicode 只是分配整數給字符的編碼表 . 現在存在好幾種將一串字符表示為一串字節的方法 . 最顯而易見的兩種方法是將 Unicode 文本存儲為 2 個 或 4 個字節序列的串 . 這兩種方法的正式名稱分別為 UCS-2 （ UTF-16 ）和 UCS-4 （ UTF-32 ） . 除非另外指定 , 否則大多數的字節都是這樣的 (Bigendian convention). 將一個 ASCII 或 Latin-1 的文件轉換成 UCS-2 只需簡單地在每個 ASCII 字節前插入 0x00. 如果要轉換成 UCS-4, 則必須在每個 ASCII 字節前插入三個 0x00.

在 Unix 下使用 UCS-2 ( 或 UCS-4) 會導致非常嚴重的問題 . 用這些編碼的字符串會包含一些特殊的字符 , 比如 '\0' 或 '/', 它們在 文件名和其他 C 庫函數參數里都有特別的含義 . 另外 , 大多數使用 ASCII 文件的 UNIX 下的工具 , 如果不進行重大修改是無法讀取 16 位的字符的 . 基于這些原因 , 在文件名 , 文本文件 , 環境變量等地方 , UCS-2 不適合作為 Unicode 的外部編碼 .

在 ISO 10646-1 Annex R 和 RFC 2279 里定義的 UTF-8 編碼沒有這些問題 . 它是在 Unix 風格的操作系統下使用 Unicode 的明顯的方法 .

UTF-8 看起來不像是 unicode ，它只是作為一種過渡形態存在，作為新舊編碼之間交互的橋梁。雖然它是遵循 unicode 規范的，但它更像是 DBCS 的改善版，是一種 MBCS （ multi-byte char set ）。顯然這個世界上不可能很快就完全 unicode ， UTF-8 還將會一直存在下去。 Window NT 操作系統的基本文本表示是 UTF-16 ， WCHAR 是其基本數據類型。

UTF-8 以字節為編碼單元，沒有字節序的問題。 UTF-16 以兩個字節為編碼單元，在解釋一個 UTF-16 文本前，首先要弄清楚每個編碼單元的字節序。 Unicode 規范使用 BOM （ Byte Order Mark ）來標記字節順序。在 UCS 編碼中有一個叫做“ ZERO WIDTH NO-BREAK SPACE ”的字符，它的編碼是 FEFF 。而 FFFE 在 UCS 中是不存在的字符。所以，如果接收到 FEFF 就表明這個字節流是 Big-Endian 的；如果是 FFFE 則是 little endian 。 UTF-8 不需要用 BOM 來表明字節序，但可以用 BOM 來表明編碼方式。 FEFF 的 UTF-8 編碼是 EF BB BF 。

以下就是 UTF-8 的模板

0x0000 - 0x007F 用一個字節表示 0xxxxxxx

0x0080 - 0x07FF 用兩個字節表示 110xxxxx 10xxxxxx

0x0800 - 0xFFFF 用三個字節表示 1110xxxx 10xxxxxx 10xxxxxx

舉個例子，如果你遇到了 11100110 10110001 10001001 01000001 這樣的字節流，首先你看第一個字節以 1110 開頭，即讀 3 個字節并按模板提取得到 0110 110001 001001( 去除模板標志﹐再四字節四字節讀即 0x6c49) ，查 unicode 編碼表就是 " 漢 " 字 , 而最后一個以 0 開頭就一定是一個字節了， 0x0041 ，也就是 "A" 。

三、 ???????????????????? 字符集、字符編碼、內碼

字符必須編碼后才能被計算機處理。計算機使用的缺省編碼方式就是計算機的內碼。像 ASCII 、 GB2312 、 Big5 都是屬于字符編碼。當然 UTF-8 、 16 也是一種字符編碼。而 unicode 則是一種規范。

GB2312 是大陸的字符編碼標準，屬于國家標準。它是與 ASCII 碼兼容的。后來又有 GBK1.0 、 GB18030 等字符編碼標準，這些都是向下兼容的，但橫向不兼容！比如 GB2312 與 Big5 在很多編碼上是重疊的，是不兼容的； Unicode 與 GB 標準碼也是不兼容的。中文操作系統的內碼是 GBK 編碼。

由于現有的大量程序和文檔都采用樂某種特定語言的編碼，例如 GBK ， windows 不可能不支持現有代碼，而全部采用 unicode ！這就是為什么 windows 使用了內碼機制。為了支持更多的地方語言文字， windows 還使用了 code page 機制以使 windows 能夠更方便的適應不同地方的語言文字。 GBK 對應的 code page 是 CP936 ， windows 代碼頁只支持單字節和雙字節編碼的。

GB2312-80 ，是中國大陸使用的國家標準，其中一共編碼了 6763 個常用簡體漢字。 Big5 ，是臺灣使用的編碼標準，編碼了中國臺灣使用的繁體漢字，大概有 8 千多個。 HKSCS ，是中國香港使用的編碼標準，字體也是繁體，但跟 Big5 有所不同。

四、 ???????????????????? VC 中的 Unicode 編程

這個網上的資料有很多的，最重要的一個概念就是 T ， W ， _UNICODE 、 UNICODE 等。這個理解起來感覺簡單很多，因為只要你在程序中都使用 Unicode 就好了。數據的傳輸、數據的保存、數據的使用、轉化都使用 Unicode （目前基本上都是使用 UTF-8 比較多吧）。當然了，這里肯定還是會有編碼格式轉化的問題的，比如輸入的不是 Unicode ，輸出的不能是 Unicode 等。但只要你在程序中都使用 Unicode 就解決問題了。是不是我想得太簡單了？

?

上面這些東西，很多是我從網上摘抄下來的，也有少部分是我自己的理解。如果有什么不對的地方，敬請指教。如果有什么講的不清楚的、或者需要講一下的，請提出來。如果有什么希望能夠一起討論討論的，歡迎給我發郵件或回帖討論！