初探C++ Builder 2009的UnicodeString
作者：Tuuzed(土仔) 發(fā)表于：2009年6月25日23:39:34
版權(quán)聲明：可以任意轉(zhuǎn)載，轉(zhuǎn)載時(shí)請(qǐng)務(wù)必以超鏈接形式標(biāo)明文章原始出處和作者信息及本聲明。
http://www.shnenglu.com/tuuzed/archive/2009/06/26/88538.html
下面兩個(gè)問(wèn)題一直困擾著我這個(gè)處于第1層的菜鳥(niǎo)：1、為什么卡巴斯基KIS2009簡(jiǎn)體中文版安裝在繁體XP下能正常顯示簡(jiǎn)體中文，而瑞星、金山等則是亂碼？2、為什么簡(jiǎn)體的MS Word或Firefox能顯示繁體中文（特指Big5編碼）的內(nèi)容？處于1層以上的程序員（見(jiàn)《程序員》6月雜志周偉明的《程序員的十層樓》）肯定已經(jīng)笑出來(lái)了，請(qǐng)略過(guò)剩下的內(nèi)容。。。
這么說(shuō)吧，如果想實(shí)現(xiàn)一個(gè)可以在簡(jiǎn)體中文系統(tǒng)中顯示繁體中文的“記事本”，C++ Builder2009中如何實(shí)現(xiàn)？很多人（包括我）在沒(méi)有了解各種字符編碼以前，想當(dāng)然地覺(jué)得既然支持Unicode了，那么直接使用TMemo的LoadFromFile方法直接load一個(gè)繁體中文的文檔就能顯示了。因?yàn)橹С諹nicode了嘛，Unicode就是在任何系統(tǒng)都能顯示正常。好像很對(duì)，先試一下，初探嘛。
一、不變的“簡(jiǎn)體中文”版
既然支持Unicode，搞一個(gè)Form，放一個(gè)Button在上面，
Caption先不要去動(dòng)，用程序去修改：
Form1->Caption = "簡(jiǎn)體中文";
Button1->Caption = "漢字";
簡(jiǎn)體XP下顯示正常，可繁體XP下就顯示亂碼了。不是說(shuō)支持Unicode了嗎？跟蹤調(diào)試一下：
簡(jiǎn)體XP下，“漢字”的“漢”編碼是0x6C49，而繁體XP下，“漢”的編碼變成了0x7296。我們知道“漢”在Uunicode編碼中是0x6C49，說(shuō)明簡(jiǎn)體XP下是正確的，而繁體XP下就不正確了。為什么會(huì)有這樣的情況發(fā)生？把斷點(diǎn)設(shè)置在“Button1->Caption = "漢字";”這一句，再用F7一直跟蹤。原來(lái)是CB2009在把“漢字”賦值給Button1->Caption前，先進(jìn)行了Ansi到Unicode的轉(zhuǎn)換，恰恰問(wèn)題就在CB2009使用的這個(gè)函數(shù)：InternalUStrFromPCharLen(Dest, Source, Length, DefaultSystemCodePage);函數(shù)在實(shí)現(xiàn)過(guò)程中獲取了系統(tǒng)默認(rèn)的CodePage（http://www.shnenglu.com/shenhuafeng/archive/2007/04/05/21336.html），而簡(jiǎn)體XP和繁體XP的CodePage不一樣（一個(gè)為936，一個(gè)為950）導(dǎo)致在轉(zhuǎn)換到UNICODE的時(shí)候結(jié)果不一致，也就導(dǎo)致到繁體XP下顯示為亂碼。如何解決呢？在CB2009的幫助“Unicode in RAD Studio”一章中的“Issues（問(wèn)題）”節(jié)中提到：運(yùn)用“U”這個(gè)標(biāo)量（一個(gè)宏，與VC＋＋中的“L”類(lèi)似）將ANSI字符常量強(qiáng)制識(shí)別為Unicode。這個(gè)過(guò)程是在編譯時(shí)就已經(jīng)完成，編譯的時(shí)候是在簡(jiǎn)體XP下，所以程序運(yùn)行時(shí)內(nèi)存中存儲(chǔ)的“漢字”Unicode是正確的。為了證實(shí)，將代碼變?yōu)锽utton1->Caption = U"漢字";，再用F7跟蹤。結(jié)果是程序一運(yùn)行到這，就馬上用UnicodeSetLength(var dst: UnicodeString; len: Integer);（注意dst的數(shù)據(jù)類(lèi)型）來(lái)初始化一個(gè)UnicodeString類(lèi)，等著給TButton賦值（TControl.SetText）了。
現(xiàn)在終于明白，不變的“簡(jiǎn)體中文”其實(shí)是不變的Unicode編碼，已經(jīng)不是我們的GB了。那么CB2009中的UnicodeString默認(rèn)的CodePage是啥？調(diào)用UnicodeString.CodePage()就知道了——1200。
二、正確顯示“繁體中文”
簡(jiǎn)體XP下顯示繁體好像都很容易：用IE、Firefox瀏覽繁體網(wǎng)站，用MS Word打開(kāi)繁體內(nèi)容doc文檔等。如何用CB2009也實(shí)現(xiàn)相應(yīng)功能？先試試用Memo控件來(lái)Load一個(gè)繁體文本看看：
結(jié)果肯定是亂碼，繁體XP下運(yùn)行這個(gè)程序是能正常顯示的。Memo控件中的每一行其實(shí)都是UnicodeString（屬性Lines是TStrings類(lèi)的對(duì)象），而繁體內(nèi)容的TXT文本按ANSI保存，在Memo載入文件的時(shí)候做了一個(gè)ANSI到Unicode的轉(zhuǎn)換。有了之前的跟蹤結(jié)果，可以想象CB2009是獲取了系統(tǒng)的默認(rèn)CodePage（936）而導(dǎo)致繁體不能正確轉(zhuǎn)換為UTF-16。那么我們讓CB2009重新進(jìn)行CodePage950的轉(zhuǎn)換就應(yīng)該可以正確顯示了。
有個(gè)函數(shù)在前面跟蹤源碼的時(shí)候出現(xiàn)過(guò)——MultiByteToWideChar，看名字很容易理解它的作用是把多字節(jié)轉(zhuǎn)為寬字符，CB2009應(yīng)該是利用了這個(gè)函數(shù)將ANSI進(jìn)行了轉(zhuǎn)換，當(dāng)然CB2009是用的簡(jiǎn)體系統(tǒng)默認(rèn)的CodePage。轉(zhuǎn)換應(yīng)該可逆，那么應(yīng)該有WideCharToMultiByte。實(shí)現(xiàn)它看看：
1 UnicodeString __fastcall BIG5ToUnicode(UnicodeString usString)
2 {
3 if (GetOEMCP() == 950)
4 {
5 //如果為繁體系統(tǒng)，不用轉(zhuǎn)換
6 return usString;
7 }
8 //預(yù)分配空間
9 int length = usString.Length() * 2;
10 char *chBuffer = new char[length+1];
11 //按系統(tǒng)默認(rèn)的codepage轉(zhuǎn)回去
12 int iReturn = WideCharToMultiByte(GetOEMCP(), 0, usString.w_str(), -1, chBuffer, length+1, NULL, NULL);
13 wchar_t *wcBuffer = new wchar_t[iReturn+1];
14 //按Big5編碼轉(zhuǎn)換回來(lái)
15 iReturn = MultiByteToWideChar(950, 0, chBuffer, -1, wcBuffer, iReturn+1 );
16 usString = UnicodeString(wcBuffer);
17 delete chBuffer;
18 delete wcBuffer;
19 return usString;
20 }
“載入文件”的Click事件實(shí)現(xiàn)如下：
1 void __fastcall TForm1::btn1Click(TObject *Sender)
2 {
3 TStringList *slBuf = new TStringList();
4 slBuf->LoadFromFile("d:\\eula.txt");
5 int iCount = slBuf->Count;
6 for (int i = 0; i < iCount; i++)
7 {
8 mmo1->Lines->Add(BIG5ToUnicode(slBuf->Strings[i]));
9 Application->ProcessMessages();
10 }
11 }
運(yùn)行一下看看：
好像自己的兩個(gè)問(wèn)題有了答案，但是總覺(jué)得第二個(gè)問(wèn)題的方法效率低下，畢竟又轉(zhuǎn)了一道。肯定還有更好的方法，當(dāng)然，在沒(méi)有找到好的辦法前，我們這些菜鳥(niǎo)用用這種方法也是可以的。畢竟成長(zhǎng)的過(guò)程是痛苦的。