• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            diceidea

            parser

            常用鏈接

            Others

            有用的東西

            最新評論

            DFA和lexical analysis

            對于hand written的lexical analyzer來說,NFA和DFA的運用是不可避免的,除非你的grammer十分簡單。
            一旦給出了source program(也就是你想處理的character stream)的一個pattern的正則表達式,就可以構造對應的NFA,然后轉換為DFA,這個DFA就可以用來處理你的source program, 將里面能夠match這個pattern的lexeme全都找出來。按照這樣的流程,對于一種編程語言,不管是常用的語言,還是腳本語言,只要對所有的pattern構造DFA,就能夠寫出自己的lexical analyzer了。
            有兩篇關于正則表達式到DFA的文章寫的很好:
            1.Writing own regular expression parser By Amer Gerzic英文的
            http://www.codeproject.com/KB/recipes/OwnRegExpressionsParser.aspx
            有源碼
            2. 《構造正則表達式引擎》新鮮出爐啦!中文的,by vczh,華南理工大學
            http://www.shnenglu.com/vczh/archive/2008/05/22/50763.html
            閱讀完上面兩篇文章,寫個能夠運行的lexer就不成問題了。
            另外附上龍書(Compilers, principles techniques and tools)里一段token,pattern和lexeme術語的區別:
            1. A t o k e n  is  a  pair  consisting  of  a  token  name  and  an optional attribute
            value.   The  token  name  is  an  abstract  symbol  representing  a  kind  of
            lexical unit(lexeme), e.g., a  particular keyword, or a sequence of  input  characters
            denoting an identifier.  The token  names are the input  symbols that the
            parser  processes.  In what  follows, we  shall generally write the name of  a
            token  in boldface.  We  will often refer to a token  by  its token name.
            2. A pattern is a description of the form that the lexemes of  a token may take.
            In  the case of  a  keyword as  a token,  the pattern  is just  the sequence of
            characters that form the keyword.  For identifiers and some other tokens,
            the pattern is a more complex structure that is matched by many strings.
            3. A lexeme is a sequence of  characters in the source program that matches
            the  pattern  for  a  token  and  is  identified  by  the  lexical  analyzer  as  an
            instance of  that token.
             notes:
            1. more than  one lexeme  can  match  a  pattern
            2. 看看example 3.1


            posted on 2008-05-24 13:59 diceidea 閱讀(526) 評論(0)  編輯 收藏 引用 所屬分類: Dev log

            久久综合丁香激情久久| 久久妇女高潮几次MBA| 久久久久久久尹人综合网亚洲| 香蕉久久夜色精品升级完成| 久久精品人成免费| 国产毛片久久久久久国产毛片 | 欧美精品乱码99久久蜜桃| 一本色道久久88—综合亚洲精品 | 精品久久久久久无码人妻热| 国产精品成人无码久久久久久 | 久久精品国产亚洲欧美| 免费观看成人久久网免费观看| 久久精品国产99久久丝袜| 久久精品国产免费观看三人同眠| 久久精品一本到99热免费| 欧美国产精品久久高清| 精品久久一区二区三区| 国产欧美久久久精品影院| 国产午夜精品久久久久九九电影| 午夜精品久久久久久毛片| 久久久久亚洲精品天堂久久久久久| 潮喷大喷水系列无码久久精品| 久久综合久久性久99毛片| 91精品国产综合久久香蕉| 久久久无码精品亚洲日韩蜜臀浪潮| 欧美久久一区二区三区| 国产成人香蕉久久久久| 久久国产精品久久国产精品| 亚洲AV无一区二区三区久久| 久久影院午夜理论片无码 | 久久综合精品国产一区二区三区 | 久久久久亚洲AV无码去区首| 亚洲狠狠综合久久| 久久久国产精品网站| 国产精品久久久久9999| 99精品国产在热久久无毒不卡 | 久久午夜电影网| 色综合久久久久网| 国内精品伊人久久久久网站| 草草久久久无码国产专区| 99久久精品九九亚洲精品|