最近在做嵌入式開發(fā)，這個嵌入式平臺上，支持標(biāo)準(zhǔn)c庫，但不支持mbcs，也不支持unicode。里面的wchar_t被直接定義為char（typedef char wchar_t;），可見這個wchar_t是假的，只是為了讓含有wchar_t的程序能通過編譯，并不是支持unicode，當(dāng)然也就沒有對應(yīng)的wcs函數(shù)族?，F(xiàn)在要讓這個系統(tǒng)上的程序支持中文，有下面幾種想法。
首先要弄清支持中文的含義，先分析一下需求，這個程序?qū)ψ址牟僮髦饕侨缦铝鞒?，從文件中讀進(jìn)字符串（文件編碼可自己定義），對字符串進(jìn)行查找、截取、拼接操作，最后把完成的字符串作為參數(shù)傳到另一個庫里（暫且叫它libn吧）。需要說明的是，libn由公司別的小組實現(xiàn)，它不關(guān)注字符集，里面不再處理（截取、拼接）字符串，只是把輸入的字符串輸出到文件或屏幕，目前已經(jīng)有一個比較穩(wěn)定的跨平臺版本。
需求確定以后，接下來要確定中文在程序中的存儲編碼。對中文來說，通常有三種編碼方案可供選擇：
1. 用mbcs編碼存儲（gb2312/gbk/gb18030）。
2. 用unicode編碼存儲。
3. 用utf-8編碼存儲。
這個系統(tǒng)里針對這三種編碼的字符串函數(shù)都沒有，不管采用哪種方案，字符串函數(shù)都得自己寫，從這點來說，三種方案的工作量都差不多。
先來看看mbcs，這個方案純粹是為了中文而支持中文，如果將來要兼容其他語言，mbcs函數(shù)都得重寫，而且mbcs跟unicode的轉(zhuǎn)換沒有固定的公式，必須依賴于一張大表。用mbcs沒有什么特別的好處，這個方案只能早早的就否決了。
再來看看unicode和utf-8。一般說來，unicode是國際化的終極解決方案，大部分c編譯器支持wchar_t數(shù)據(jù)類型，如果編譯器不支持wchar_t，可以自己使用unsigned short或unsigned int來模擬。不管什么語言，每個字符都被放到2字節(jié)的wchar_t類型里（linux下是4字節(jié)），通常對于新的程序，都推薦使用unicode。而utf-8是unicode的一種存儲方案。
下面我們從不同方面來比較一下unicode和utf-8各自的優(yōu)勢：
1. 內(nèi)存空間。unicode對于每個字符都是2個字節(jié)，utf-8對英文是一個字節(jié)，對漢字是2個或3個字節(jié)。對于英文來說，utf-8占優(yōu)，但在漢字占多數(shù)的情況下，unicode占優(yōu)勢。當(dāng)然，如果字符串的數(shù)量不是很大的話，這個問題不是很突出。這里列出來，對文件存儲也可以起到一個參考作用。
2. 程序編寫難度。unicode是定長類型，而utf-8是變長的，每操作一個字符的時候，都要考慮這個字符的長度，毫無疑問unicode的字符串函數(shù)編寫起來應(yīng)該更簡單。目前，這兩種字符串函數(shù)都有大量的實現(xiàn)可供參考，對于寫程序來說，問題不大。
3. 程序執(zhí)行效率。unicode定長，utf-8變長。對于strlen，substr之類的操作，unicode很方便，utf-8卻要從頭到尾掃描，而且需要邊掃描邊判斷字符長度。因此unicode比utf-8要快很多，但如果這種操作不是很多，效率影響也不會特別明顯。
4. 現(xiàn)有程序的數(shù)量。unicode程序我們見得多了，但采用utf-8的程序也不少，gtk+就是。它們都運行得很好。
5. 兼容性。英文的utf-8編碼跟ascii完全一樣，因此也兼容標(biāo)準(zhǔn)c庫的字符串函數(shù)，如果不需要操作字符，完全不用關(guān)心語言。對于unicode，標(biāo)準(zhǔn)c庫的字符串函數(shù)不能工作，字符串函數(shù)都得重寫，常常用一個宏來控制在unicode和ascii直接切換（比如windows下的TCHAR）。
從上面幾點來看，跟utf-8相比，unicode占據(jù)絕對優(yōu)勢。只有unicode的世界真美好...
但事實上，libn因為它并不關(guān)心字符集，所以它把接口的字符串類型全部聲明成char*了，如果libn也用unicode實現(xiàn)，那就完美了，可惜，這不在我的控制范圍之內(nèi)。
另外還有一種方案，在我的程序內(nèi)部使用unicode，在調(diào)用libn的接口處，轉(zhuǎn)換成utf-8，傳給libn，從libn返回的utf-8字符串，先轉(zhuǎn)成unicode再使用。這個方法聽起來也不錯，但是很多對象并不是調(diào)用接口時才生成，也不是調(diào)用完就銷毀，這樣會導(dǎo)致我的程序內(nèi)會長期存在字符串的unicode和utf-8兩種拷貝，浪費大量內(nèi)存，對于嵌入式系統(tǒng)來說，這很難容忍。
最終，我決定在我的程序內(nèi)部使用utf-8編碼，作出這個決定的最主要原因是因為我要使用libn，雖然這樣我的程序會消耗更多的內(nèi)存、需要編寫冗長難懂的字符串函數(shù)、效率也會下降，但不得不這樣。gtk+沒有使用unicode而采用utf-8，恐怕也是這樣妥協(xié)的結(jié)果吧。
后記：utf-8函數(shù)參考了glib中的實現(xiàn)。