青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

我希望你是我獨(dú)家記憶

一段永遠(yuǎn)封存的記憶,隨風(fēng)而去
posts - 263, comments - 31, trackbacks - 0, articles - 3
   :: 首頁(yè) :: 新隨筆 ::  :: 聚合  :: 管理

Python中文編碼問(wèn)題

Posted on 2009-07-24 14:27 Hero 閱讀(592) 評(píng)論(0)  編輯 收藏 引用 所屬分類(lèi): 資料整理


Python中有兩種字符串,分別是一般的字符串(每個(gè)字符用8 bits表示)和Unicode字符串(每個(gè)字符用一個(gè)或者多個(gè)字節(jié)表示),它們可以相互轉(zhuǎn)換。關(guān)于Unicode,Joel Spolsky 在 The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!) 中有生動(dòng)的說(shuō)明,Jason Orendorff 在 Unicode for programmers 有著更為全面的描述,在此我就不再多說(shuō)什么了。來(lái)看下面的代碼:

x = u"中文你好"
print s

    運(yùn)行上述代碼,Python會(huì)給出下面的錯(cuò)誤提示

SyntaxError: Non-ASCII character '\xd6' in file G:\workspace\chinese_problem\src\test.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

   說(shuō)是遇到非ASCII字符了,并讓我們參考pep-0263。PEP-0263(Python Enhancement Proposal)上面說(shuō)得很清楚了,Python也意識(shí)到了國(guó)際化問(wèn)題,并提出了解決方案。根據(jù)提案上面的要求,我們有如下代碼

 # -*- coding:gb2312 -*- #必須在第一行或者第二行
print "-------------code 1----------------"
a = "中文a我愛(ài)你"
print a
print a.find("我")
b = a.replace("愛(ài)", "喜歡")
print b
print "--------------code 2----------------"
x = "中文a我愛(ài)你"
y = unicode(x, "gb2312")
print y.encode("gb2312")
print y.find(u"我")
z = y.replace(u"愛(ài)", u"喜歡")
print z.encode("gb2312")
print "---------------code 3----------------"
print y

    程序運(yùn)行的結(jié)果如下:

-------------code 1----------------
中文a我愛(ài)你
5
中文a我喜歡你
--------------code 2----------------
中文a我愛(ài)你
3
中文a我喜歡你
---------------code 3----------------
Traceback (most recent call last):
  File "G:\Downloads\eclipse\workspace\p\src\hello.py", line 16, in <module>
    print y
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

     我們可以看到,通過(guò)引入編碼聲明,我們可以正常地在使用中文了,而且在code 1和2中,控制臺(tái)也能正確的把中文打印出來(lái)。但是,很明顯,上面的代碼也反映出了不少的問(wèn)題:
    1、code 1 和 2在使用print時(shí)采用了不同的方式,1是直接print,而2在print之前先進(jìn)行編碼
    2、code 1 和 2中在同樣的字符串查找同一個(gè)字符“我”,得出的結(jié)果不一樣(分別是5和3)
    3、code 3 中直接打印unicode字符串 y時(shí)出現(xiàn)錯(cuò)誤(這也是為什么code 2中要先進(jìn)行編碼的原因)

    為什么?為什么?我們可以先在腦海中模擬一下我們使用Python的流程:首先,我們先用編輯器編寫(xiě)好源代碼,保存成文件。如果源代碼中有編碼聲明而且用的編輯器支持該語(yǔ)法,那么該文件就以相應(yīng)的編碼方式保存在磁盤(pán)中。注意:編碼聲明和源文件的編碼不一定是一致的,你完全可以在編碼聲明中聲明編碼為UTF-8,但是用GB2312來(lái)保存源文件。當(dāng)然,我們不可能自尋煩惱,故意寫(xiě)錯(cuò),而且好的IDE也能強(qiáng)制保證兩者的一致性,但是,如果我們用記事本或者EditPlus等編輯器來(lái)編寫(xiě)代碼的話(huà),一不小心就會(huì)出現(xiàn)這種問(wèn)題的。
    得到一個(gè).py文件后,我們就可以運(yùn)行它了,這是,我們就把代碼交給Python解析器來(lái)完成解析工作。解析器讀入文件時(shí),先解析文件中的編碼聲明,我們假設(shè)文件的編碼為gb2312,那么先將文件中的內(nèi)容由gb2312轉(zhuǎn)換成Unicode,然后再把這些Unicode轉(zhuǎn)換為UTF-8格式的字節(jié)串。完成這一步驟后,解析器把這些UTF-8字節(jié)串分段,解析。如果遇到使用Unicode字符串,那么就使用相應(yīng)的UTF-8字節(jié)串創(chuàng)建Unicode字符串,如果程序中使用的是一般的字符串,那么解析器先將UTF-8字節(jié)串通過(guò)Unicode轉(zhuǎn)換成相應(yīng)編碼(這里就是gb2312編碼)的字節(jié)串,并用其創(chuàng)建一般的字符串對(duì)象。也就是說(shuō),Unicode字符串跟一般字符串在內(nèi)存中的存放格式是不一樣的,前者使用UTF-8的格式,后者使用GB2312格式。
    好了,內(nèi)存中的字符串存放格式我們知道了,下面我們要了解print的工作方式。print其實(shí)只是負(fù)責(zé)把內(nèi)存中相應(yīng)的字節(jié)串交給操作系統(tǒng),讓操作系統(tǒng)相應(yīng)的程序(譬如cmd窗口)進(jìn)行顯示。這里有兩種情況:
   1、若字符串是一般的字符串,那么print只需把內(nèi)存中相應(yīng)的字節(jié)串推送給操作系統(tǒng)。如例子中的code 1。
    2、如果字符串是Unicode字符串,那么print在推送之前先進(jìn)行相應(yīng)的encode:我們可以顯示使用Unicode的encode方法使用合適的編碼方式來(lái)編碼(例子中code 2),否則Python使用默認(rèn)的編碼方式進(jìn)行編碼,也就是ASCII(例子中的code 3)。當(dāng)然ASCII是不可能正確編碼中文的,因此Python報(bào)錯(cuò)。
    至此,上面的三個(gè)問(wèn)題我們已經(jīng)可以解析第一和第三個(gè)了。至于第二個(gè)問(wèn)題,因?yàn)镻ython中有兩種字符串,一般字符串和Unicode字符串,兩者都有各自的字符處理方法。對(duì)于前者,方法是以字節(jié)的方式進(jìn)行的,而且在GB2312中,每個(gè)漢字占用兩個(gè)字節(jié),因此得到的結(jié)果是5;對(duì)于后者,也就是Unicode字符串,所有字符都是統(tǒng)一看待的,因此得到3。
     雖然上面只提到了控制臺(tái)程序的中文問(wèn)題,但是文件讀寫(xiě)以及網(wǎng)絡(luò)傳輸中出現(xiàn)的中文問(wèn)題在原理上都是類(lèi)似的。Unicode的出現(xiàn)可以很大程度上解決軟件的國(guó)際化問(wèn)題,同時(shí)Python為Unicode提供了極為良好的支持,因此,我建議大家在編寫(xiě)Python的程序時(shí),都統(tǒng)一使用Unicode方式。保存文件時(shí)使用UTF-8的編碼方式。How to Use UTF-8 with Python有詳細(xì)的描述。
 

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            欧美在线视频免费| 亚洲欧美卡通另类91av| 久久综合福利| 尤物九九久久国产精品的分类| 久久精品99国产精品酒店日本| 一区二区三区产品免费精品久久75| 亚洲夫妻自拍| 欧美日韩高清在线播放| 亚洲一区免费网站| 久久精品久久99精品久久| 亚洲高清久久久| 日韩网站在线| 黑人巨大精品欧美一区二区小视频| 久久综合五月天婷婷伊人| 女人色偷偷aa久久天堂| 亚洲一区二区三区高清不卡| 午夜精彩国产免费不卡不顿大片| 亚洲欧美怡红院| 91久久久久久国产精品| 一区二区高清在线观看| 黑人一区二区| 一区二区三区免费观看| 伊人激情综合| 中文精品在线| 亚洲国产精品黑人久久久| 夜夜嗨av色一区二区不卡| 在线观看日韩精品| 一区二区三区久久久| 亚洲高清视频的网址| 亚洲影院在线| 中日韩高清电影网| 久久综合九色综合欧美就去吻| 一区二区三区精品视频在线观看 | 亚洲免费av片| 久久国产一区| 亚洲欧美日韩国产一区| 欧美gay视频| 久久国产视频网| 欧美日韩精品一区视频 | 亚洲五月六月| 欧美大片在线看| 久久久久看片| 国产精品网站在线播放| 亚洲欧洲精品一区二区三区 | 卡一卡二国产精品| 久久精品国产99精品国产亚洲性色 | 亚洲欧美日韩国产精品| 野花国产精品入口| 裸体女人亚洲精品一区| 久久免费国产精品1| 国产精品欧美经典| 一区二区欧美亚洲| 99精品视频免费观看| 麻豆精品91| 欧美国产精品中文字幕| 黄色小说综合网站| 欧美在线视频导航| 久久一区视频| 狠狠色狠色综合曰曰| 欧美一区二区三区免费在线看| 小黄鸭精品aⅴ导航网站入口| 欧美日本精品在线| 99日韩精品| 亚洲伊人久久综合| 国产精品久久久久久久久久免费看 | 欧美日韩国产小视频在线观看| 欧美激情亚洲国产| 亚洲精品久久在线| 欧美日本精品一区二区三区| 亚洲美女在线看| 亚洲永久免费| 国产一区 二区 三区一级| 久久婷婷久久| 亚洲人成毛片在线播放| 欧美精品v日韩精品v韩国精品v | 亚洲一二区在线| 性视频1819p久久| 国产一区三区三区| 久久婷婷亚洲| 亚洲九九精品| 欧美一区二区三区日韩| 一区二区亚洲精品国产| 免费看黄裸体一级大秀欧美| 亚洲黄色性网站| 亚洲欧美日韩另类| 黑人操亚洲美女惩罚| 免费中文字幕日韩欧美| 亚洲毛片一区| 久久久久久久久久久一区 | 999亚洲国产精| 国产精品日日做人人爱| 久久久久久久久伊人| 欧美激情国产高清| 亚洲欧美日韩成人| 在线观看视频亚洲| 国产精品乱码| 久久只精品国产| 亚洲天堂偷拍| 欧美激情自拍| 久久精品成人一区二区三区| 亚洲国产一区二区三区a毛片 | 久久精品国产2020观看福利| 亚洲精品资源美女情侣酒店| 久久精品国产亚洲一区二区| 亚洲国产天堂久久国产91| 欧美三级小说| 美日韩精品免费观看视频| 一区二区三区四区五区在线| 免费在线看一区| 久久国产视频网站| 中文网丁香综合网| 亚洲国产精品久久人人爱蜜臀| 国产精品视频99| 欧美日韩免费观看一区=区三区| 欧美亚洲色图校园春色| 一本色道久久综合亚洲精品不| 久久伊人精品天天| 午夜精品久久一牛影视| 日韩天堂av| 亚洲第一狼人社区| 国产亚洲精品福利| 国产精品免费网站| 欧美母乳在线| 欧美11—12娇小xxxx| 久久久久久**毛片大全| 亚洲欧美日韩另类| 在线视频精品一区| 亚洲免费电影在线观看| 亚洲电影观看| 欧美激情精品久久久久久大尺度| 久久精品国产69国产精品亚洲 | 欧美永久精品| 性色av一区二区怡红| 亚洲欧美日韩国产中文在线| 一区二区免费看| 亚洲美女在线看| 亚洲精品久久久久久下一站| 91久久精品一区二区三区| 欧美激情第4页| 欧美裸体一区二区三区| 欧美日韩精品三区| 欧美精品一区二区精品网| 欧美成人精品高清在线播放| 免播放器亚洲| 欧美激情精品久久久久久蜜臀 | 国产喷白浆一区二区三区| 国产精品福利在线| 国产精品系列在线播放| 国产女人18毛片水18精品| 国产精品综合不卡av| 国产日产欧美一区| 国内精品99| 亚洲国产综合在线看不卡| 亚洲欧洲综合| 中文精品视频一区二区在线观看| 一区二区激情| 欧美一区二区三区视频免费| 久久蜜臀精品av| 亚洲国产精品成人久久综合一区| 亚洲精品久久久久久一区二区| 亚洲美女黄色| 性色av一区二区怡红| 久久久www成人免费精品| 欧美成人免费全部| 欧美日韩亚洲精品内裤| 国产精品羞羞答答| 亚洲国产精品第一区二区| 99精品国产在热久久下载| 亚洲欧美日韩国产精品| 麻豆91精品| 夜夜狂射影院欧美极品| 久久国产黑丝| 欧美精品一区二区久久婷婷| 国产精品乱码一区二三区小蝌蚪| 国产一区视频观看| 99精品国产在热久久| 久久嫩草精品久久久久| 亚洲片国产一区一级在线观看| 一区二区三区免费看| 免费观看国产成人| 国产精品久久九九| 亚洲国产一区二区a毛片| 午夜精品亚洲一区二区三区嫩草| 老鸭窝毛片一区二区三区| 亚洲精品欧美日韩专区| 久久精品av麻豆的观看方式| 欧美日韩国产首页| 亚洲国产欧美久久| 久久精品盗摄| 亚洲一区在线播放| 欧美伦理在线观看| 亚洲成人原创| 久久精品一区二区三区中文字幕| 亚洲黄页视频免费观看| 久久精品91久久久久久再现| 欧美日韩亚洲高清一区二区| 亚洲国产日韩一区| 久久一区二区三区四区| 亚洲欧美在线免费观看| 国产精品激情电影|