Posted on 2007-05-30 16:54
chemz 閱讀(5795)
評論(14) 編輯 收藏 引用 所屬分類:
C++
字符集相關問題
字符集目前有兩個大的類別:本地字符集和國際字符集,其中每一類別的字符集又有多個
不同的字符編碼實例。比如:本地字符集中基本上對于每一個不同的地區和國家就會形成一個
屬于自己的字符集(ascii, latin-1, chs等),國際字符集中同樣包括多種不同的編碼方案
(utf8, utf16等)。
那么在C/C++程序中如何完成上述字符集之間的轉換工作呢?分成兩種情況:
1. 通過const char *cstr使用開發環境中的編輯器輸入字符串常量"中國",如下:
const char *cstr = "中國";
這樣一來cstr所指向的字符串內存中保存的則是本地字符編碼下所形成的字符串,也
就是說,上面的cstr中存儲著chs字符編碼集中的字符;
2. 通過const wchar_t *wstr使用開發環境中的編輯器輸入字符串常量"中國",如下:
const wchar_t *wstr = L"中國";
這樣一來wstr所指向的字符串內存中保存的則是國際字符編碼(在VC++下是ucs2,
在gcc下是ucs4)下所形成的字符串,也就是說,上面的wstr中存儲著utf16字符編
碼集中的字符;
那么如何將cstr轉換成為wstr呢?可以通過C語言中的標準轉換函數mbstowcs來完成該工
作,此時需要注意的是如果直接使用mbstowcs進行轉換會得到一個錯誤的結果,并不能成功
的完成轉換成為國際寬字符的要求,這是為什么呢?在C/C++語言標準中定義了其運行時的
字符集環境為"C",也就是ASCII字符集的一個子集,那么mbstowcs在工作時會將cstr中所包
含的字符串看作是ASCII編碼的字符,而不認為是一個包含有chs編碼的字符串,所以他會將
每一個中文拆成2個ASCII編碼進行轉換,這樣得到的結果就是會形成4個wchar_t的字符組成
的串,那么如何才能夠讓mbstowcs正常工作呢?在調用mbstowcs進行轉換之間必須明確的告
訴mbstowcs目前cstr串中包含的是chs編碼的字符串,通過setlocale( LC_ALL, "chs" )函數
調用來完成,需要注意的是這個函數會改變整個應用程序的字符集編碼方式,必須要通過重
新調用setlocale( LC_ALL, "C" )函數來還原,這樣就可以保證mbstowcs在轉換時將cstr中
的串看作是中文串,并且轉換成為2個wchar_t字符,而不是4個。
Feedback
const wchar_t *wstr = "中國";
這樣寫不合法吧
const wchar_t *wstr = L"中國";
請教一下,在Solaris操作系統下中文字符串使用的是什么字符集。
我在Solaris下用setlocale( LC_ALL, "chs" ),然后將字符串轉換成unicode
得到錯誤結果,后來發現在solaris里面就沒有"chs"這種編碼方式,請問我怎樣才能正確轉換
我在搞solaris的時候也遇到過這個問題,我所在的環境是solaris9和10對于8我不太清楚。是這樣的,在solaris的操作系統安裝光盤中有一張單獨的Languages語言支持光盤,必須要選擇安裝對應的字符集支持,如果要顯示中文還必須要切換操作系統的當前語種到中文(任意一種中文都沒有問題,最好采用GB18030,否則會出現有些生僻的字沒有編碼的問題),這樣就可以轉換和顯示了。對于solaris8沒有試過,因為比較老了。
謝謝chemz
但是我在solaris下locale -a 查了一下他里面支持的中文字符集有
zh,zh_CN.EUC,zh.GBK,zh.UTF-8,我一個個試過了,但是都不正確轉換,是不是真的需要另外加中文字符集,不清楚在solaris下面是不是真的有“chs”的字符集
不好意思我沒有用過Sun的CC,凡是在Unix環境下開發我們都用統一的GNU gcc編譯器集合,這樣會比較好移植。
我在LINUX企業版5上實驗了上面代碼,編譯時這句const wchar_t *wstr = L"中國";報錯converting to execution character set:無效或不完整的多字節字符或寬字符。
是怎么回事啊,LINUX下不能把中文轉成UNICODE嗎?那怎么用。
樓上的需要注意你可能在寫const wchar_t *wstr = L"中國";這句話時引號是個中文的,所以才會有問題。
我怎么知道我的字符串中是什么編碼呢?
比如:
m_ctrlEdit.GetWindowText(m_strEdit);
此時m_strEdit中是什么編碼的字符串呢?
如果中英文混排的情況如何轉換成寬字符呢?
const char* str = "I 服了 You";