在處理一段文本的時(shí)候，首先了解文本的漢字編碼。在windows下默認(rèn)的文件編碼是GBK，而
linux的一般是utf-8.
想要查看文件的編碼方式，使用vim打開(kāi)文本，然后在命令行模式下輸入：set fileencoding,回車
即可。
Python中有兩種默認(rèn)的字符串：str和unicode。在Python中一定要注意區(qū)分“Unicode字符串”
和“unicode對(duì)象”的區(qū)別。后面所有的“unicode字符串”指的都是python里的“unicode對(duì)象”
。
事實(shí)上在Python中并沒(méi)有“Unicode字符串”這樣的東西，只有“unicode”對(duì)象。一個(gè)傳統(tǒng)意義上
的unicode字符串完全可以用str對(duì)象表示。只是這時(shí)候它僅僅是一個(gè)字節(jié)流，除非解碼為unicode
對(duì)象，沒(méi)有任何實(shí)際的意義。
函數(shù) decode( char_set )可以實(shí)現(xiàn) 其它編碼到 Unicode 的轉(zhuǎn)換，函數(shù) encode( char_set )實(shí)
現(xiàn) Unicode 到其它編碼方式的轉(zhuǎn)換。
比如 ("你好").decode( "GB2312") 將得到 u'\u4f60\u597d'，即 "你"和“好"的 Unicode 碼
分別是 0x4f60 和 0x597d
再用 (u'\u4f60\u597d').encode("UTF-8") 將得到 '\xe4\xbd\xa0\xe5\xa5\xbd'，它是 “你好
”的UTF-8編碼結(jié)果。
python中使用 unicode的關(guān)鍵：unicode是一個(gè)類，函數(shù)unicode(str,"utf8")從utf8編碼（當(dāng)然也
可以是別的編碼）的字符串str生成 unicode類的對(duì)象，而函數(shù)unc.encode("utf8")將unicode類的
對(duì)象unc轉(zhuǎn)換為（編碼為）utf8編碼（當(dāng)然也可以是別的編碼）的字符串。于是，編寫unicode相關(guān)
程序，需要做的事情是
* 獲取數(shù)據(jù)（字符串）時(shí)，用unicode(str, "utf8")生成unicode對(duì)象
* 在程序中僅使用unicode對(duì)象，對(duì)程序中出現(xiàn)的字符串常量都以u(píng)"字符串"的形式書寫
* 輸出時(shí)，可將unicode對(duì)象轉(zhuǎn)換為任意編碼輸出，使用str.encode("some_encoding")
>>> unicode("你好", "utf8")
u'\u4f60\u597d'
>>> x = _
>>> type(x)
>>> type("你好")
>>> x.encode("utf8")
'\xe4\xbd\xa0\xe5\xa5\xbd'
>>> x.encode("gbk")
'\xc4\xe3\xba\xc3'
>>> x.encode("gb2312")
'\xc4\xe3\xba\xc3'
>>> print x
你好
>>> print x.encode("utf8")
你好
>>> print x.encode("gbk")
???
還有一種就是對(duì)于特殊字符的處理：
try:
print i.decode('unicode_escape').encode('utf8')
except:
print i