• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            sunrise

            每天不斷學(xué)習(xí),才能不斷提升自己。

              C++博客 :: 首頁 :: 新隨筆 :: 聯(lián)系 :: 聚合  :: 管理 ::
              64 隨筆 :: 0 文章 :: 92 評(píng)論 :: 0 Trackbacks
            ps:中文處理經(jīng)驗(yàn)不足,學(xué)習(xí)了。
            下面這個(gè)小工具包含了 判斷unicode是否是漢字,數(shù)字,英文,或者其他字符。 全角符號(hào)轉(zhuǎn)半角符號(hào)。 unicode字符串歸一化等工作。 還有一個(gè)能處理多音字的漢字轉(zhuǎn)拼音的程序,還在整理中。
            轉(zhuǎn)自:
            http://hi.baidu.com/fenghua1893/item/d1a71d5ac47ffdcfd3e10cd1
            #!/usr/bin/env python
            #
             -*- coding:GBK -*- 
             
            """漢字處理的工具:
            判斷unicode是否是漢字,數(shù)字,英文,或者其他字符。
            全角符號(hào)轉(zhuǎn)半角符號(hào)。
            """
             
            def is_chinese(uchar):
                    """判斷一個(gè)unicode是否是漢字"""
                    if uchar >= u'\u4e00' and uchar<=u'\u9fa5':
                            return True
                    else:
                            return False
             
            def is_number(uchar):
                    """判斷一個(gè)unicode是否是數(shù)字"""
                    if uchar >= u'\u0030' and uchar<=u'\u0039':
                            return True
                    else:
                            return False
             
            def is_alphabet(uchar):
                    """判斷一個(gè)unicode是否是英文字母"""
                    if (uchar >= u'\u0041' and uchar<=u'\u005a'or (uchar >= u'\u0061' and uchar<=u'\u007a'):
                            return True
                    else:
                            return False
             
            def is_other(uchar):
                    """判斷是否非漢字,數(shù)字和英文字符"""
                    if not (is_chinese(uchar) or is_number(uchar) or is_alphabet(uchar)):
                            return True
                    else:
                            return False
             
            def B2Q(uchar):
                    """半角轉(zhuǎn)全角"""
                    inside_code=ord(uchar)
                    if inside_code<0x0020 or inside_code>0x7e:      #不是半角字符就返回原來的字符
                            return uchar
                    if inside_code==0x0020: #除了空格其他的全角半角的公式為:半角=全角-0xfee0
                            inside_code=0x3000
                    else:
                            inside_code+=0xfee0
                    return unichr(inside_code)
             
            def Q2B(uchar):
                    """全角轉(zhuǎn)半角"""
                    inside_code=ord(uchar)
                    if inside_code==0x3000:
                            inside_code=0x0020
                    else:
                            inside_code-=0xfee0
                    if inside_code<0x0020 or inside_code>0x7e:      #轉(zhuǎn)完之后不是半角字符返回原來的字符
                            return uchar
                    return unichr(inside_code)


             
            def stringQ2B(ustring):
                    """把字符串全角轉(zhuǎn)半角"""
                    return "".join([Q2B(uchar) for uchar in ustring])
             
            def uniform(ustring):
                    """格式化字符串,完成全角轉(zhuǎn)半角,大寫轉(zhuǎn)小寫的工作"""
                    return stringQ2B(ustring).lower()
             
            def string2List(ustring):
                    """將ustring按照中文,字母,數(shù)字分開"""
                    retList=[]
                    utmp=[]
                    for uchar in ustring:
                            if is_other(uchar):
                                    if len(utmp)==0:
                                            continue
                                    else:
                                            retList.append("".join(utmp))
                                            utmp=[]
                            else:
                                    utmp.append(uchar)
                    if len(utmp)!=0:
                            retList.append("".join(utmp))
                    return retList
             
            if __name__=="__main__":
                    #test Q2B and B2Q
                    for i in range(0x0020,0x007F):
                            print Q2B(B2Q(unichr(i))),B2Q(unichr(i))
             
                    #test uniform
                    ustring=u'中國 人名a高頻A'
                    ustring=uniform(ustring)
                    ret=string2List(ustring)





                    print ret
            posted on 2012-08-29 17:47 SunRise_at 閱讀(4165) 評(píng)論(0)  編輯 收藏 引用 所屬分類: 可愛的python
            国产99久久久国产精品小说| 9久久9久久精品| 国产精品久久久久乳精品爆| av国内精品久久久久影院| 久久精品人人做人人妻人人玩| 2020国产成人久久精品| 国产一区二区久久久| 久久99这里只有精品国产| 日韩va亚洲va欧美va久久| 色综合久久夜色精品国产| 色妞色综合久久夜夜| 亚洲精品乱码久久久久久久久久久久| 一级女性全黄久久生活片免费 | 久久午夜电影网| 久久精品免费观看| 日本精品久久久久中文字幕8| 国产欧美一区二区久久| 久久国产成人精品国产成人亚洲| 久久国产免费| 亚洲愉拍99热成人精品热久久| 无码精品久久久久久人妻中字| 久久精品国产亚洲AV香蕉| 久久久青草久久久青草| 久久香蕉国产线看观看猫咪?v| 精品久久久久久久国产潘金莲 | 国产精品久久精品| 久久久久久久国产免费看| 狠狠色丁香久久婷婷综合图片| 久久精品无码专区免费东京热| 久久综合九色综合精品| 久久亚洲精品国产精品婷婷| 久久久久免费看成人影片| 久久青青草原精品国产不卡| 亚洲成色www久久网站夜月| 久久久久国产精品三级网| 一本一本久久A久久综合精品| 久久综合综合久久狠狠狠97色88| 精品久久久久久久久免费影院| 丰满少妇高潮惨叫久久久| 色老头网站久久网| 国产精品热久久无码av|