• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            diceidea

            parser

            常用鏈接

            Others

            有用的東西

            最新評論

            DFA和lexical analysis

            對于hand written的lexical analyzer來說,NFA和DFA的運用是不可避免的,除非你的grammer十分簡單。
            一旦給出了source program(也就是你想處理的character stream)的一個pattern的正則表達式,就可以構造對應的NFA,然后轉換為DFA,這個DFA就可以用來處理你的source program, 將里面能夠match這個pattern的lexeme全都找出來。按照這樣的流程,對于一種編程語言,不管是常用的語言,還是腳本語言,只要對所有的pattern構造DFA,就能夠寫出自己的lexical analyzer了。
            有兩篇關于正則表達式到DFA的文章寫的很好:
            1.Writing own regular expression parser By Amer Gerzic英文的
            http://www.codeproject.com/KB/recipes/OwnRegExpressionsParser.aspx
            有源碼
            2. 《構造正則表達式引擎》新鮮出爐啦!中文的,by vczh,華南理工大學
            http://www.shnenglu.com/vczh/archive/2008/05/22/50763.html
            閱讀完上面兩篇文章,寫個能夠運行的lexer就不成問題了。
            另外附上龍書(Compilers, principles techniques and tools)里一段token,pattern和lexeme術語的區別:
            1. A t o k e n  is  a  pair  consisting  of  a  token  name  and  an optional attribute
            value.   The  token  name  is  an  abstract  symbol  representing  a  kind  of
            lexical unit(lexeme), e.g., a  particular keyword, or a sequence of  input  characters
            denoting an identifier.  The token  names are the input  symbols that the
            parser  processes.  In what  follows, we  shall generally write the name of  a
            token  in boldface.  We  will often refer to a token  by  its token name.
            2. A pattern is a description of the form that the lexemes of  a token may take.
            In  the case of  a  keyword as  a token,  the pattern  is just  the sequence of
            characters that form the keyword.  For identifiers and some other tokens,
            the pattern is a more complex structure that is matched by many strings.
            3. A lexeme is a sequence of  characters in the source program that matches
            the  pattern  for  a  token  and  is  identified  by  the  lexical  analyzer  as  an
            instance of  that token.
             notes:
            1. more than  one lexeme  can  match  a  pattern
            2. 看看example 3.1


            posted on 2008-05-24 13:59 diceidea 閱讀(526) 評論(0)  編輯 收藏 引用 所屬分類: Dev log

            久久亚洲精品国产亚洲老地址| 青青草原精品99久久精品66| 品成人欧美大片久久国产欧美| 2020最新久久久视精品爱| 久久久久久国产a免费观看不卡 | 久久久久se色偷偷亚洲精品av| 国产激情久久久久久熟女老人| 精品无码久久久久国产| 久久久久九九精品影院| 无码日韩人妻精品久久蜜桃 | 久久精品无码一区二区app| 久久精品国产亚洲AV蜜臀色欲| 免费观看久久精彩视频| 久久热这里只有精品在线观看| 97久久超碰成人精品网站| 午夜精品久久久久| 精品99久久aaa一级毛片| 久久精品午夜一区二区福利| 区亚洲欧美一级久久精品亚洲精品成人网久久久久 | 亚洲国产精品久久久久网站| 久久久久精品国产亚洲AV无码| 国产视频久久| 久久精品国产只有精品2020| 久久人人爽人人爽人人片av麻烦| a级毛片无码兔费真人久久| 精品久久久噜噜噜久久久 | 国产精品久久久久久久久软件| 日本一区精品久久久久影院| 97久久久精品综合88久久| 色欲av伊人久久大香线蕉影院 | 久久精品国产亚洲AV香蕉| 久久久久久久久波多野高潮| 久久久久国产| 无码乱码观看精品久久| 狠狠精品干练久久久无码中文字幕 | 久久亚洲国产精品123区| 99久久精品国产综合一区| 青青青青久久精品国产| 一本一道久久精品综合| 国产高清美女一级a毛片久久w| 久久亚洲综合色一区二区三区|