• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>

            diceidea

            parser

            常用鏈接

            Others

            有用的東西

            最新評論

            DFA和lexical analysis

            對于hand written的lexical analyzer來說,NFA和DFA的運用是不可避免的,除非你的grammer十分簡單。
            一旦給出了source program(也就是你想處理的character stream)的一個pattern的正則表達式,就可以構造對應的NFA,然后轉換為DFA,這個DFA就可以用來處理你的source program, 將里面能夠match這個pattern的lexeme全都找出來。按照這樣的流程,對于一種編程語言,不管是常用的語言,還是腳本語言,只要對所有的pattern構造DFA,就能夠寫出自己的lexical analyzer了。
            有兩篇關于正則表達式到DFA的文章寫的很好:
            1.Writing own regular expression parser By Amer Gerzic英文的
            http://www.codeproject.com/KB/recipes/OwnRegExpressionsParser.aspx
            有源碼
            2. 《構造正則表達式引擎》新鮮出爐啦!中文的,by vczh,華南理工大學
            http://www.shnenglu.com/vczh/archive/2008/05/22/50763.html
            閱讀完上面兩篇文章,寫個能夠運行的lexer就不成問題了。
            另外附上龍書(Compilers, principles techniques and tools)里一段token,pattern和lexeme術語的區別:
            1. A t o k e n  is  a  pair  consisting  of  a  token  name  and  an optional attribute
            value.   The  token  name  is  an  abstract  symbol  representing  a  kind  of
            lexical unit(lexeme), e.g., a  particular keyword, or a sequence of  input  characters
            denoting an identifier.  The token  names are the input  symbols that the
            parser  processes.  In what  follows, we  shall generally write the name of  a
            token  in boldface.  We  will often refer to a token  by  its token name.
            2. A pattern is a description of the form that the lexemes of  a token may take.
            In  the case of  a  keyword as  a token,  the pattern  is just  the sequence of
            characters that form the keyword.  For identifiers and some other tokens,
            the pattern is a more complex structure that is matched by many strings.
            3. A lexeme is a sequence of  characters in the source program that matches
            the  pattern  for  a  token  and  is  identified  by  the  lexical  analyzer  as  an
            instance of  that token.
             notes:
            1. more than  one lexeme  can  match  a  pattern
            2. 看看example 3.1


            posted on 2008-05-24 13:59 diceidea 閱讀(526) 評論(0)  編輯 收藏 引用 所屬分類: Dev log

            久久99精品久久久久久齐齐| 无码日韩人妻精品久久蜜桃| 国产精品美女久久久| 99久久免费国产精品热| 天堂无码久久综合东京热| 久久无码国产专区精品| 久久免费视频网站| 国产精品乱码久久久久久软件| 亚洲人成伊人成综合网久久久| 精品久久香蕉国产线看观看亚洲 | 国产福利电影一区二区三区久久老子无码午夜伦不 | 伊人久久大香线蕉AV一区二区| 亚洲第一极品精品无码久久| 国产2021久久精品| 亚洲国产另类久久久精品黑人| 久久精品国产99久久久香蕉| 亚洲精品美女久久久久99| 久久精品中文字幕第23页| 九九99精品久久久久久| 久久亚洲中文字幕精品一区| 久久免费99精品国产自在现线| 久久精品国产亚洲AV无码偷窥| 久久午夜免费视频| 免费一级做a爰片久久毛片潮| 精品久久久久久久久中文字幕| 亚洲AV乱码久久精品蜜桃| 欧美伊人久久大香线蕉综合| 久久精品国产精品亜洲毛片| 国内精品久久国产大陆| 国内精品久久久久影院优| 久久久无码一区二区三区| 97久久婷婷五月综合色d啪蜜芽 | 久久ww精品w免费人成| 亚洲色欲久久久综合网| 国产A级毛片久久久精品毛片| 久久亚洲精品无码播放| 久久精品国产欧美日韩| 亚洲精品乱码久久久久久不卡| 香蕉久久影院| 精品久久久中文字幕人妻| 欧美大香线蕉线伊人久久|