http://www.css8.cn/css8_document/gb2312.htm
由于常常要和漢字處理打交道，因此，我常常受到漢字編碼問(wèn)題的困擾。在不斷的打擊與堅(jiān)持中，也積累了一點(diǎn)漢字編碼方面的經(jīng)驗(yàn)，想和大家一起分享。
一、漢字編碼的種類
漢字編碼中現(xiàn)在主要用到的有三類，包括GBK，GB2312和Big5。
1、GB2312又稱國(guó)標(biāo)碼，由國(guó)家標(biāo)準(zhǔn)總局發(fā)布，1981年5月1日實(shí)施，通行于大陸。新加坡等地也使用此編碼。它是一個(gè)簡(jiǎn)化字的編碼規(guī)范，當(dāng)然也包括其他的符號(hào)、字母、日文假名等，共7445個(gè)圖形字符，其中漢字占6763個(gè)。我們平時(shí)說(shuō)6768個(gè)漢字，實(shí)際上里邊有5個(gè)編碼為空白，所以總共有6763個(gè)漢字。
GB2312規(guī)定“對(duì)任意一個(gè)圖形字符都采用兩個(gè)字節(jié)表示，每個(gè)字節(jié)均采用七位編碼表示”，習(xí)慣上稱第一個(gè)字節(jié)為“高字節(jié)”，第二個(gè)字節(jié)為“低字節(jié)”。GB2312中漢字的編碼范圍為，第一字節(jié)0xB0-0xF7(對(duì)應(yīng)十進(jìn)制為176-247)，第二個(gè)字節(jié)0xA0-0xFE（對(duì)應(yīng)十進(jìn)制為160-254）。
GB2312將代碼表分為94個(gè)區(qū)，對(duì)應(yīng)第一字節(jié)（0xa1-0xfe）；每個(gè)區(qū)94個(gè)位（0xa1-0xfe），對(duì)應(yīng)第二字節(jié)，兩個(gè)字節(jié)的值分別為區(qū)號(hào)值和位號(hào)值加32（2OH），因此也稱為區(qū)位碼。01-09區(qū)為符號(hào)、數(shù)字區(qū)，16-87區(qū)為漢字區(qū)（0xb0-0xf7），10-15區(qū)、88-94區(qū)是有待進(jìn)一步標(biāo)準(zhǔn)化的空白區(qū)。
2、Big5又稱大五碼，主要為香港與臺(tái)灣使用，即是一個(gè)繁體字編碼。每個(gè)漢字由兩個(gè)字節(jié)構(gòu)成，第一個(gè)字節(jié)的范圍從0X81－0XFE（即129-255），共126種。第二個(gè)字節(jié)的范圍不連續(xù)，分別為0X40－0X7E（即64-126），0XA1－0XFE（即161-254），共157種。
3、GBK是GB2312的擴(kuò)展，是向上兼容的，因此GB2312中的漢字的編碼與GBK中漢字的相同。另外，GBK中還包含繁體字的編碼，它與Big5編碼之間的關(guān)系我還沒(méi)有弄明白，好像是不一致的。GBK中每個(gè)漢字仍然包含兩個(gè)字節(jié)，第一個(gè)字節(jié)的范圍是0x81-0xFE（即129-254），第二個(gè)字節(jié)的范圍是0x40-0xFE（即64-254）。GBK中有碼位23940個(gè)，包含漢字21003個(gè)。
表1 漢字編碼范圍
|
名稱
|
第一字節(jié)
|
第二字節(jié)
|
|
GB2312
|
0xB0-0xF7(176-247)
|
0xA0-0xFE（160-254）
|
|
GBK
|
0x81-0xFE（129-254）
|
0x40-0xFE（64-254）
|
|
Big5
|
0x81-0xFE（129-255）
|
0x40-0x7E（64-126）
0xA1－0xFE（161-254）
|
二、對(duì)漢字進(jìn)行hash
為了處理漢字的方便，在查找漢字的時(shí)候，我們通常會(huì)用到hash的方法，那怎么來(lái)確定一個(gè)漢字位置呢？這就和每種編碼的排列有關(guān)了，這里主要給出一種hash函數(shù)的策略。
對(duì)于GB2312編碼，設(shè)輸入的漢字為GBword，我們可以采用公式(C1-176)*94 + (C2-161)確定GBindex。其中，C1表示第一字節(jié)，C2表示第二字節(jié)。具體如下：
GBindex = ((unsigned char)GBword.at(0)-176)*94 + (unsigned char)GBword.at(1) - 161;
之所以用unsigned char類型，是因?yàn)?span lang=EN-US>char是一個(gè)字節(jié)，如果用unsigend int，因?yàn)?span lang=EN-US>int是4個(gè)字節(jié)的，所以會(huì)造成擴(kuò)展，導(dǎo)致錯(cuò)誤。
對(duì)于GBK編碼，設(shè)輸入的漢字為GBKword，則可以采用公式 index=(ch1-0x81)*190+(ch2-0x40)-(ch2/128)，其中ch1是第一字節(jié)，ch2是第二字節(jié)。
具體的，
GBKindex = ((unsigned char)GBKword[0]-129)*190 +
((unsigned char)GBKword[1]-64) - (unsigned char)GBKword[1]/128;
三、怎樣判斷一個(gè)漢字的是什么編碼
直接根據(jù)漢字的編碼范圍判斷，對(duì)于GB2312和GBK可用下面兩個(gè)程序?qū)崿F(xiàn)。
1、判斷是否是GB2312
bool isGBCode(const string& strIn)
{
unsigned char ch1;
unsigned char ch2;
if (strIn.size() >= 2)
{
ch1 = (unsigned char)strIn.at(0);
ch2 = (unsigned char)strIn.at(1);
if (ch1>=176 && ch1<=247 && ch2>=160 && ch2<=254)
return true;
else return false;
}
else return false;
}
2、判斷是否是GBK編碼
bool isGBKCode(const string& strIn)
{
unsigned char ch1;
unsigned char ch2;
if (strIn.size() >= 2)
{
ch1 = (unsigned char)strIn.at(0);
ch2 = (unsigned char)strIn.at(1);
if (ch1>=129 && ch1<=254 && ch2>=64 && ch2<=254)
return true;
else return false;
}
else return false;
}
3、對(duì)于Big5
它的范圍為：高字節(jié)從0xA0到0xFE，低字節(jié)從0x40到0x7E，和0xA1到0xFE兩部分。判斷一個(gè)漢字是否是BIG5編碼，可以如上對(duì)字符的編碼范圍判斷即可。如何定位呢？那么也想象所有編碼排列為一個(gè)二維坐標(biāo)，縱坐標(biāo)是高字節(jié)，橫坐標(biāo)是低字節(jié)。這樣一行上的漢字個(gè)數(shù)：(0x7E-0x40+1)+(0xFE-0xA1+1)＝157。那么定位算法分兩塊，為:
if 0x40<=ch2<=0x7E: #is big5 char
index=((ch1-0xA1)*157+(ch2-0x40))*2
elif 0xA1<=ch2<=0xFE: #is big5 char
index=((ch1-0xA1)*157+(ch2-0xA1+63))*2
對(duì)于第二塊，計(jì)算偏移量時(shí)因?yàn)橛袃蓧K數(shù)值，所以在計(jì)算后面一段值時(shí)，不要忘了前面還有一段值。0x7E-0x40+1=63。
四、如果判斷一個(gè)字符是西文字符還是中文字符
大家知道西文字符主要是指ASCII碼，它用一個(gè)字節(jié)表示。且這個(gè)字符轉(zhuǎn)換成數(shù)字之后，該數(shù)字是大于0的，而漢字是兩個(gè)字節(jié)的，第一個(gè)字節(jié)的轉(zhuǎn)化為數(shù)字之后應(yīng)該是小于0的，因此可以根據(jù)每個(gè)字節(jié)轉(zhuǎn)化為數(shù)字之后是否小于0，判斷它是否是漢字。
例如，設(shè)輸入字為strin，則，
If (strin.at(0) < 0)
cout << ”是漢字” << endl;
else cout << ”不是漢字” << endl;