青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

sunrise

每天不斷學(xué)習(xí),才能不斷提升自己。

  C++博客 :: 首頁 :: 新隨筆 :: 聯(lián)系 :: 聚合  :: 管理 ::
  64 隨筆 :: 0 文章 :: 92 評論 :: 0 Trackbacks
ps:中文處理經(jīng)驗不足,學(xué)習(xí)了。
下面這個小工具包含了 判斷unicode是否是漢字,數(shù)字,英文,或者其他字符。 全角符號轉(zhuǎn)半角符號。 unicode字符串歸一化等工作。 還有一個能處理多音字的漢字轉(zhuǎn)拼音的程序,還在整理中。
轉(zhuǎn)自:
http://hi.baidu.com/fenghua1893/item/d1a71d5ac47ffdcfd3e10cd1
#!/usr/bin/env python
#
 -*- coding:GBK -*- 
 
"""漢字處理的工具:
判斷unicode是否是漢字,數(shù)字,英文,或者其他字符。
全角符號轉(zhuǎn)半角符號。
"""
 
def is_chinese(uchar):
        """判斷一個unicode是否是漢字"""
        if uchar >= u'\u4e00' and uchar<=u'\u9fa5':
                return True
        else:
                return False
 
def is_number(uchar):
        """判斷一個unicode是否是數(shù)字"""
        if uchar >= u'\u0030' and uchar<=u'\u0039':
                return True
        else:
                return False
 
def is_alphabet(uchar):
        """判斷一個unicode是否是英文字母"""
        if (uchar >= u'\u0041' and uchar<=u'\u005a'or (uchar >= u'\u0061' and uchar<=u'\u007a'):
                return True
        else:
                return False
 
def is_other(uchar):
        """判斷是否非漢字,數(shù)字和英文字符"""
        if not (is_chinese(uchar) or is_number(uchar) or is_alphabet(uchar)):
                return True
        else:
                return False
 
def B2Q(uchar):
        """半角轉(zhuǎn)全角"""
        inside_code=ord(uchar)
        if inside_code<0x0020 or inside_code>0x7e:      #不是半角字符就返回原來的字符
                return uchar
        if inside_code==0x0020: #除了空格其他的全角半角的公式為:半角=全角-0xfee0
                inside_code=0x3000
        else:
                inside_code+=0xfee0
        return unichr(inside_code)
 
def Q2B(uchar):
        """全角轉(zhuǎn)半角"""
        inside_code=ord(uchar)
        if inside_code==0x3000:
                inside_code=0x0020
        else:
                inside_code-=0xfee0
        if inside_code<0x0020 or inside_code>0x7e:      #轉(zhuǎn)完之后不是半角字符返回原來的字符
                return uchar
        return unichr(inside_code)


 
def stringQ2B(ustring):
        """把字符串全角轉(zhuǎn)半角"""
        return "".join([Q2B(uchar) for uchar in ustring])
 
def uniform(ustring):
        """格式化字符串,完成全角轉(zhuǎn)半角,大寫轉(zhuǎn)小寫的工作"""
        return stringQ2B(ustring).lower()
 
def string2List(ustring):
        """將ustring按照中文,字母,數(shù)字分開"""
        retList=[]
        utmp=[]
        for uchar in ustring:
                if is_other(uchar):
                        if len(utmp)==0:
                                continue
                        else:
                                retList.append("".join(utmp))
                                utmp=[]
                else:
                        utmp.append(uchar)
        if len(utmp)!=0:
                retList.append("".join(utmp))
        return retList
 
if __name__=="__main__":
        #test Q2B and B2Q
        for i in range(0x0020,0x007F):
                print Q2B(B2Q(unichr(i))),B2Q(unichr(i))
 
        #test uniform
        ustring=u'中國 人名a高頻A'
        ustring=uniform(ustring)
        ret=string2List(ustring)





        print ret
posted on 2012-08-29 17:47 SunRise_at 閱讀(4180) 評論(0)  編輯 收藏 引用 所屬分類: 可愛的python
青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            亚洲欧美不卡| 老巨人导航500精品| 亚洲国产经典视频| 噜噜噜噜噜久久久久久91| 黄网站色欧美视频| 欧美大片国产精品| 欧美日韩国产综合网 | 欧美精品二区| 亚洲一级黄色av| 欧美一级淫片播放口| 黄色亚洲精品| 亚洲麻豆一区| 国产在线播放一区二区三区| 免费在线观看一区二区| 欧美老女人xx| 久久精品30| 欧美成人免费va影院高清| 亚洲免费婷婷| 巨乳诱惑日韩免费av| 一本久久青青| 久久久久久久激情视频| 99这里只有久久精品视频| 亚洲免费一在线| 亚洲第一中文字幕在线观看| 一区二区三区导航| 亚洲第一页中文字幕| 9色国产精品| 亚洲高清在线观看一区| 亚洲午夜电影| 亚洲精品中文字幕在线观看| 欧美一级二级三级蜜桃| 在线亚洲一区二区| 久久精品国产免费观看| 亚洲字幕在线观看| 欧美不卡在线视频| 久久久久久亚洲精品不卡4k岛国| 欧美精品成人在线| 欧美成人嫩草网站| 国产亚洲永久域名| 一区二区三区欧美成人| 亚洲肉体裸体xxxx137| 性欧美暴力猛交69hd| 亚洲一区二区三区四区五区午夜| 免费看亚洲片| 欧美日本在线播放| 一区精品久久| 久久人体大胆视频| 国产精品久久久久国产精品日日| 欧美v国产在线一区二区三区| 国产精品久久久久久久久动漫| 欧美大片在线观看一区二区| 国产一区二区三区成人欧美日韩在线观看 | 亚洲尤物视频网| 欧美日韩1080p| 亚洲成人在线视频网站| 狠狠爱www人成狠狠爱综合网| 亚洲免费影院| 亚洲欧美卡通另类91av| 欧美视频中文在线看| 亚洲精品日韩综合观看成人91 | 欧美日韩国产美| 亚洲欧洲另类| 日韩视频三区| 欧美午夜在线| 亚洲视频日本| 久久精品一本| 韩国精品久久久999| 久久久91精品国产| 欧美国内亚洲| 亚洲国产欧美日韩另类综合| 欧美性感一类影片在线播放| 久久午夜精品一区二区| 翔田千里一区二区| 国产精品视频免费在线观看| 亚洲女爱视频在线| 久久精品电影| 影音先锋久久精品| 欧美成年人网站| 亚洲精品一区二区网址| 亚洲主播在线播放| 国产九色精品成人porny| 香蕉免费一区二区三区在线观看| 久久精品视频免费播放| 在线观看亚洲| 欧美日韩国产一区二区三区| 亚洲四色影视在线观看| 久久久人人人| 在线视频日韩| 国产亚洲精品一区二555| 久久久久成人网| 中文精品视频| 欧美日韩国产美女| 亚洲一区三区电影在线观看| 久久久久九九九九| 亚洲欧洲一区二区在线播放| 欧美日韩日本国产亚洲在线| 亚洲欧美偷拍卡通变态| 欧美大片在线观看一区二区| 亚洲综合二区| 久久九九精品99国产精品| 欧美激情第3页| 先锋影音久久| 亚洲伦理精品| 国产在线精品一区二区夜色| 欧美区二区三区| 欧美在线亚洲综合一区| 日韩一二三在线视频播| 久久综合久久综合久久| 亚洲欧美在线一区| 亚洲国产视频一区二区| 国产欧美日韩精品专区| 欧美激情一区三区| 久久精品91久久久久久再现| 99精品福利视频| 欧美激情一区二区三区蜜桃视频| 香蕉久久夜色精品国产使用方法| 亚洲精品日韩欧美| 国产专区一区| 国产精品亚洲аv天堂网| 欧美国产日产韩国视频| 久久久久这里只有精品| 欧美一区二区精品| 一区二区三区欧美激情| 日韩视频免费观看高清在线视频 | 亚洲精品一二三区| 麻豆国产va免费精品高清在线| 亚洲伊人第一页| 99精品欧美一区二区三区综合在线| 国模大胆一区二区三区| 国产精品系列在线| 国产精品久久久久久久久久久久| 另类激情亚洲| 久久婷婷麻豆| 久久久青草婷婷精品综合日韩| 亚洲免费中文字幕| 亚洲图片你懂的| 亚洲一区二区三区高清不卡| aa级大片欧美| 一区二区三区高清视频在线观看| 亚洲精品日韩在线观看| 日韩视频欧美视频| 亚洲巨乳在线| 中国女人久久久| 亚洲已满18点击进入久久| 亚洲午夜性刺激影院| 一区二区三区视频在线看| 亚洲图片欧美午夜| 亚洲欧美在线一区二区| 欧美亚洲一区| 久久久久99| 欧美1区免费| 欧美日韩精品不卡| 国产精品久久久久久久久婷婷| 国产精品高潮呻吟久久av黑人| 国产精品看片你懂得| 国产日韩一区在线| 韩国久久久久| 亚洲美女色禁图| 午夜精品999| 久久九九电影| 亚洲欧洲一区二区三区在线观看| 亚洲精品综合| 亚洲欧美偷拍卡通变态| 久热国产精品视频| 欧美日韩在线视频观看| 国产伦精品一区二区三区照片91 | 国产午夜精品一区二区三区视频 | 亚洲作爱视频| 一区二区视频免费在线观看 | 久久视频在线视频| 欧美电影在线观看| 欧美午夜精品久久久久久孕妇| 国产精品理论片在线观看| 激情校园亚洲| 99精品久久| 久久国产精品第一页| 欧美 日韩 国产在线| 亚洲毛片av在线| 久久成人羞羞网站| 欧美日韩亚洲不卡| 国产一区二区三区电影在线观看 | 国产精品久久网| 136国产福利精品导航网址应用| 中国成人黄色视屏| 久久亚洲一区二区三区四区| 亚洲激情在线观看视频免费| 亚洲一级黄色片| 女女同性精品视频| 欧美—级高清免费播放| 欧美日韩精品免费看 | 久久久99久久精品女同性| 欧美精品一区二区蜜臀亚洲| 国产区欧美区日韩区| 日韩视频在线观看| 久久久久一区二区| 亚洲一区二区三区高清不卡| 欧美激情一区二区三区成人| 在线观看亚洲| 久久久久亚洲综合| 亚洲欧美大片|