一、漢字編碼的種類
????漢字編碼中現(xiàn)在主要用到的有三類，包括GBK，GB2312和Big5。
????1、GB2312又稱國標(biāo)碼，由國家標(biāo)準(zhǔn)總局發(fā)布，1981年5月1日實(shí)施，通行于大陸。新加坡等地也使用此編碼。它是一個簡化字的編碼規(guī)范，當(dāng)然也包括其他的符號、字母、日文假名等，共7445個圖形字符，其中漢字占6763個。我們平時說6768個漢字，實(shí)際上里邊有5個編碼為空白，所以總共有6763個漢字。
???????GB2312規(guī)定“對任意一個圖形字符都采用兩個字節(jié)表示，每個字節(jié)均采用七位編碼表示”，習(xí)慣上稱第一個字節(jié)為“高字節(jié)”，第二個字節(jié)為“低字節(jié)”。GB2312中漢字的編碼范圍為，第一字節(jié)0xB0-0xF7(對應(yīng)十進(jìn)制為176-247)，第二個字節(jié)0xA0-0xFE（對應(yīng)十進(jìn)制為160-254）。
???????GB2312將代碼表分為94個區(qū)，對應(yīng)第一字節(jié)（0xa1-0xfe）；每個區(qū)94個位（0xa1-0xfe），對應(yīng)第二字節(jié)，兩個字節(jié)的值分別為區(qū)號值和位號值加32（2OH），因此也稱為區(qū)位碼。01-09區(qū)為符號、數(shù)字區(qū)，16-87區(qū)為漢字區(qū)（0xb0-0xf7），10-15區(qū)、88-94區(qū)是有待進(jìn)一步標(biāo)準(zhǔn)化的空白區(qū)。
????2、Big5又稱大五碼，主要為香港與臺灣使用，即是一個繁體字編碼。每個漢字由兩個字節(jié)構(gòu)成，第一個字節(jié)的范圍從0X81－0XFE（即129-255），共126種。第二個字節(jié)的范圍不連續(xù)，分別為0X40－0X7E（即64-126），0XA1－0XFE（即161-254），共157種。
????3、GBK是GB2312的擴(kuò)展，是向上兼容的，因此GB2312中的漢字的編碼與GBK中漢字的相同。另外，GBK中還包含繁體字的編碼，它與Big5編碼之間的關(guān)系我還沒有弄明白，?孟袷遣灰恢碌摹?GBK中每個漢字仍然包含兩個字節(jié)，第一個字節(jié)的范圍是0x81-0xFE（即129-254），第二個字節(jié)的范圍是0x40-0xFE（即64-254）。GBK中有碼位23940個，包含漢字21003個。??????????????????????????
???????????????????????????????????表1?漢字編碼范圍
????????????????????名稱????第一字節(jié)??????????????第二字節(jié)
?
????????????????????GB2312??0xB0-0xF7(176-247)????0xA0-0xFE(160-254)
?
????????????????????GBK?????0x81-0xFE(129-254)????0x40-0xFE(64-254)
?
????????????????????Big5????0x81-0xFE(129-255)????0x40-0x7E(64-126)
??????????????????????????????????????????????????0xA1-0xFE(161-254)
?
?
二、對漢字進(jìn)行hash
????為了處理漢字的方便，在查找漢字的時候，我們通常會用到hash的方法，那怎么來確定一個漢字位置呢？這就和每種編碼的排列有關(guān)了，這里主要給出一種hash函數(shù)的策略。
????對于GB2312編碼，設(shè)輸入的漢字為GBword，我們可以采用公式(C1-176)*94?+?(C2-161)確定GBindex。其中，C1表示第一字節(jié)，C2表示第二字節(jié)。具體如下：
????GBindex?=?((unsigned?char)GBword.at(0)-176)*94?+?(unsigned?char)GBword.at(1)?-?161;
????之所以用unsigned?char類型，是因?yàn)閏har是一個字節(jié).
????對于GBK編碼，設(shè)輸入的漢字為GBKword，則可以采用公式???index=(ch1-0x81)*190+(ch2-0x40)-(ch2/128)，其中ch1是第一字節(jié)，ch2是第二字節(jié)。
????具體的，
????GBKindex?=?((unsigned?char)GBKword[0]?-?129)?*?190?+?((unsigned?char)GBKword[1]?-?64)?-?(unsigned?char)GBKword[1]?/?128;
三、怎樣判斷一個漢字的是什么編碼
????1、判斷是否是GB2312
????bool?isGBCode(const?string&?strIn)
????{
????????unsigned?char?ch1;
????????unsigned?char?ch2;
????????if?(strIn.size()?>=?2)
????????{
????????????ch1?=?(unsigned?char)strIn.at(0);
????????????ch2?=?(unsigned?char)strIn.at(1);
????????????if?(ch1>=176?&&?ch1<=247?&&?ch2>=160?&&?ch2<=254)
????????????????return?true;
????????????else?return?false;
????????}
????????else?return?false;
????}
????2、判斷是否是GBK編碼
????bool?isGBKCode(const?string&?strIn)
????{
????????unsigned?char?ch1;
????????unsigned?char?ch2;
????????if?(strIn.size()?>=?2)
????????{
????????????ch1?=?(unsigned?char)strIn.at(0);
????????????ch2?=?(unsigned?char)strIn.at(1);
????????????if?(ch1>=129?&&?ch1<=254?&&?ch2>=64?&&?ch2<=254)
????????????????return?true;
????????????else?return?false;
????????}
????????else?return?false;
????}
????3、對于Big5
????????它的范圍為：高字節(jié)從0xA0到0xFE，低字節(jié)從0x40到0x7E，和0xA1到0xFE兩部分。判斷一個漢字是否是BIG5編碼，可以如上對字符的編碼范圍判斷即可。如何定位呢？那么也想象所有編碼排列為一個二維坐標(biāo)，縱坐標(biāo)是高字節(jié)，橫坐標(biāo)是低字節(jié)。這樣一行上的漢字個數(shù)：(0x7E-0x40+1)+(0xFE-0xA1+1)＝157。那么定位算法分兩塊，為:??
????????if?0x40<=ch2<=0x7E:?#is?big5?char?
????????index=((ch1-0xA1)*157+(ch2-0x40))*2?
????????elif?0xA1<=ch2<=0xFE:?#is?big5?char?
????????index=((ch1-0xA1)*157+(ch2-0xA1+63))*2?
四、如果判斷一個字符是西文字符還是中文字符
????大家知道西文字符主要是指ASCII碼，它用一個字節(jié)表示。且這個字符轉(zhuǎn)換成數(shù)字之后，該數(shù)字是大于0的，而漢字是兩個字節(jié)的，第一個字節(jié)的轉(zhuǎn)化為數(shù)字之后應(yīng)該是小于0的，因此可以根據(jù)每個字節(jié)轉(zhuǎn)化為數(shù)字之后是否小于0，判斷它是否是漢字。
????例如，設(shè)輸入字為strin，則，
????If?(strin.at(0)?<?0)
????????cout?<<?"是漢字"?<<?endl;
?????else
????????cout?<<?"不是漢字"?<<?endl;
?????補(bǔ)充：
?????1．漢字外部碼
?????漢字外部碼又稱為漢字輸入碼，是指從鍵盤上輸入漢字時采用的編碼。漢字輸入編碼有很多種，目前廣泛使用的輸入碼為：
?????①?國標(biāo)區(qū)位碼
?????②?以漢字讀音為基礎(chǔ)的拼音碼，如全拼輸入法、雙拼輸入法、詞匯輸入法、智能ABC輸入法等；
?????③?以漢字字形為基礎(chǔ)的拼形碼，如五筆字型輸入法；
?????不同的漢字輸入方法有不同的外碼，但內(nèi)碼只能有一個。好的輸入方法應(yīng)具備規(guī)則簡單、操作方便、容易記憶、重碼率低、速度快等特點(diǎn)。
?????2．漢字國標(biāo)碼
?????GB2312-80編碼簡稱國標(biāo)碼。由于漢字?jǐn)?shù)量大，無法用一個字節(jié)進(jìn)行編碼，因此使用兩個字節(jié)對漢字進(jìn)行編碼。規(guī)定兩個字節(jié)的最高位用來區(qū)分ASCII碼。這樣國標(biāo)碼用兩個字節(jié)的低7位對漢字進(jìn)行編碼。
?????一個字節(jié)只能有128-34=94種狀態(tài)用于漢字編碼（34是指34種控制字符），兩個字節(jié)可以表示94×94=8836種狀態(tài)。在基本集中漢字是按規(guī)則排列成94行和94列的矩陣，形成漢字編碼表，其行號稱為區(qū)號，列號稱為位號，第一個字節(jié)表示漢字在國標(biāo)字符集中的區(qū)號，第二個字節(jié)表示漢字在國標(biāo)字符集中的位號。每一個漢字在94×94的矩陣中都有一個固定的區(qū)號和位號。
?????例如：漢字“大”的區(qū)號為20，位號為83，即“大”的區(qū)位碼為2083。
?????國標(biāo)碼是以十六進(jìn)制數(shù)字編碼，編碼范圍是從2121H（21H即為十進(jìn)制的33）到7F7FH（7FH即為十進(jìn)制的127）。
?????因此，國標(biāo)碼=區(qū)位碼（用十六進(jìn)制表示）+2020H。
?????3．漢字機(jī)內(nèi)碼
?????機(jī)內(nèi)碼是指一個漢字被計算機(jī)內(nèi)部系統(tǒng)進(jìn)行存儲、處理和傳輸時而使用的編碼。為了保證中西文兼容，同時又能區(qū)分ASCII碼和漢字，因此，機(jī)內(nèi)碼就是將國標(biāo)碼的兩個字節(jié)的最高位置為“1”。
?????所以，機(jī)內(nèi)碼=國標(biāo)碼+8080H=區(qū)位碼（用十六進(jìn)制表示）+A0A0H?。
?????4．漢字字形碼
?????字形碼又稱漢字字模，用于漢字的輸出。漢字的字形通常采用點(diǎn)陣的方式產(chǎn)生。漢字點(diǎn)陣有16×16點(diǎn)陣、32×32點(diǎn)陣、64×64點(diǎn)陣，點(diǎn)陣不同，漢字字形碼的長度也不同。點(diǎn)陣數(shù)越大，字形質(zhì)量越高，字形碼占用的字節(jié)數(shù)越多。
?????如圖1.1是“國”字24×24的點(diǎn)陣字形。深色小正方形可以表示一個二進(jìn)制位的信息“1”，淺色小正方形表示二進(jìn)制位的信息“0”。
?????漢字字形碼又稱為漢字輸出碼或漢字發(fā)生器的編碼。
?????例：按32×32點(diǎn)陣存放兩級漢字的漢字庫，大約需要占用多少字節(jié)？
?????解：32×32×6763÷8=865664B≈845KB
?????大約需要845KB。
?
原文地址：
http://xk.qust.edu.cn/pages/Detail.asp?Unid=549