• <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            隨筆-341  評論-2670  文章-0  trackbacks-0
                之前曾經為Parser Combinator寫過一篇教程。這次為了處理Vczh Library++新設計的ManagedX托管語言,我為Parser Combinator新增了三個組合子。

                第一個是def,第二個是let。它們組合使用。def(pattern, defaultValue)的意思是,如果pattern成功了那么返回pattern的分析結構,否則返回defaultValue。let(pattern, value)的意思是,如果pattern成功了則返回value,否則失敗。因此他們可以一起使用。舉個例子,ManagedX跟C#一樣具有5種type accessor:public, protected, protected internal, private, internal。其中四種accessor的文法類型是token,剩下的protected internal則是tuple<token, token>。因此我們無法很方便地為它寫一個記號到語法樹的轉換函數。而且對于缺省情況要返回private的這種行為,在EBNF+handler上直接表達出來也比較困難。當def和let還不存在的時候,我們需要這么寫:

                accessor = (PUBLIC[ToAccessor] | PROTECTED[ToAccessor] | PRIVATE[ToAccessor] | INTERNAL[ToAccessor] | (PROTECTED + INTERNAL)[ToProtectedInternal])[ToAccessorWithDefault];

                這個時候我們需要創建三個函數,分別是ToAccessor、ToProtectedInternal和ToAccessorWithDefault。因為accessor本身不是一個重要的語法元素,所以我們不需要為accessor記錄一些源代碼的位置信息。表達式則需要位置信息,這可以在我們產生錯誤信息的時候知道錯誤發生在源代碼中的位置。而accessor總是直接屬于某一個重要的語法元素的,所以不需要保存。如果不需要保存位置信息的話,那么一個ToXXX的函數其實就是沒有必要的。這個時候可以讓def和let來簡化操作:

                accessor = def(let(PUBLIC, acc::Public) | let(PROTECTED, acc::Protected) | let(PRIVATE, acc::Private) | let(INTERNAL, acc::Internal) | let(PROTECTED+INTERNAL, acc::ProtectedInternal), acc::Private);

                看起來好像差不多,但實際上我們已經減少了那三個不需要存在的函數。

            ============================無恥的分割線====================================

                第三個是binop。做這個主要是因為那個通用的lrec(左遞歸組合子)在對付帶大量括號的表達式的時候性能表現不好。這里稍微解釋一下原因。假設我們的語言有>、+、*和()四種操作符,那文法一般都寫成:

                exp0 = NUMBER | '(' exp3 ')'
                exp1 = exp1 '*' exp0 | exp0
                exp2 = exp2 '+' exp1 | exp1
                exp3 = exp3 '>' exp2 | exp2

                因此可以很容易的知道,當我們分析1*2*3的時候,走的是下面的路子:
                exp3
                = exp2
                = exp1
                = exp1 '*' exp0
                = exp1 '*' exp1 '*' exp0
                = '1' '*' '2' '*' '3'

                現在我們做一個簡單的變換,把1*2*3變成((1*2)*3)。意義不變,但是分析的路徑卻完全改變了:
                exp3
                = exp2
                = exp1
                = exp0
                = '(' exp3 ')'
                = '(' exp2 ')'
                = '(' exp1 ')'
                = '(' exp1 '*' exp0 ')'
                = '(' exo0 '*' exp0 ')'
                = '(' '(' exp3 ')' '*' exp0 ')'
                = '(' '(' exp2 ')' '*' exp0 ')'
                = '(' '(' exp1 ')' '*' exp0 ')'
                = '(' '(' exp1 '*' exp0 ')' '*' exp0 ')'
                = '(' '(' exp0 '*' exp0 ')' '*' exp0 ')'
                = '(' '(' '1' '*' '2' ')' '*' '3' ')'

                咋一看好像沒什么區別,但是對于ManagedX這種有十幾個優先級的操作符的語言來說,如果給一個復雜的表達式的每一個節點都加上括號,等于一下子增加了上千層文法的遞歸分析。由于Parser Combinator是遞歸向下分析器,因此路徑有這么長,那么遞歸的層次也會有這么長。而且為了避免boost::Spirit那個天殺的超慢編譯速度的問題,這里犧牲了一點點性能,將組合字的Parse函數做成了虛函數,所以編譯速度提高了超多。一般來說一個需要編譯一個半小時的boost::Spirit語法分析器用我的庫只需要幾秒鐘就可以編譯完了。不過現在卻帶來了問題。括號一多,性能下降的比較明顯。但是我們顯然不能因噎廢食,因此我決定往Parser Combinator提供一個手寫的帶優先級的左右結合一二元操作符語法分析器。為了將這個手寫的分析器插入框架并變得通用,我決定采用下面的結構。下面的代碼是從ManagedX的語法分析器中截取出來的:
             1      expression    = binop(exp0)
             2             .pre(ADD_SUB, ToPreUnary).pre(NOT_BITNOT, ToPreUnary).pre(INC_DEC, ToPreUnary).precedence()
             3             .lbin(MUL_DIV_MOD, ToBinary).precedence()
             4             .lbin(ADD_SUB, ToBinary).precedence()
             5             .lbin(LT << LT, ToBinaryShift).lbin(GT >> GT, ToBinaryShift).precedence()
             6             .lbin(LT, ToBinary).lbin(LE, ToBinary).lbin(GT, ToBinary).lbin(GE, ToBinary).precedence()
             7             .post(AS + type, ToCasting).post(IS + type, ToIsType).precedence()
             8             .lbin(EE, ToBinary).lbin(NE, ToBinary).precedence()
             9             .lbin(BITAND, ToBinary).precedence()
            10             .lbin(XOR, ToBinary).precedence()
            11             .lbin(BITOR, ToBinary).precedence()
            12             .lbin(AND, ToBinary).precedence()
            13             .lbin(OR, ToBinary).precedence()
            14             .lbin(QQ, ToNullChoice).precedence()
            15             .lbin(QT + (expression << COLON(NeedColon)), ToChoice).precedence()
            16             .rbin(OPEQ, ToBinaryEq).rbin(EQ, ToAssignment).precedence()
            17             ;

                binop組合子的參數代表整個帶優先級的最高優先級表達式組合字(參考上面給出的>+*()文法,可以知道這里的exp0是什么意思)。binop給出了四個子組合子,分別是pre(前綴一元操作符)、post(后綴一元操作符)、lbin(左結合二元操作符)和rbin(右結合二元操作符)。precedence代表一個優先級的所有操作符定義結束。這里我做了一個小限制,也就是每一個precedence只能包含pre、post、lbin和rbin的其中一種。實踐表明這種限制不會帶來任何問題。因此這里我們得到了一張操作符和優先級的關系表。到了這里我們就可以在Parser Combinator的框架下寫一個手寫的語法分析器(下載源代碼并打開Library\Combinator\_Binop.h)來做了。至于如何手寫語法分析器,我之前給出了一篇文章,大家可以參考這個來閱讀_Binop.h。

                binop比起簡單的用lrec做同樣的事情,性能在debug下提高了100多倍,release下面則少一點。到了這里,Parser Combinator重新滿足了性能要求,我們可以放心大膽的用一點點無所謂的性能換取一千多倍的編譯時間了。在這里貼出當binop還沒出現的時候我用lrec給出的操作符文法的實現:
             1      exp1     = exp0
             2            | ((ADD_SUB | NOT_BITNOT | INC_DEC) + exp1)[ToUnary]
             3            ;
             4 
             5      exp2     = lrec(exp1 + *((MUL_DIV_MOD + exp1)[ToBinaryLrec]), ToLrecExpression);
             6      exp3     = lrec(exp2 + *((ADD_SUB + exp2)[ToBinaryLrec]), ToLrecExpression);
             7      exp4     = lrec(exp3 + *((((LT << LT) | (GT >> GT)) + exp3)[ToBinaryShiftLrec]), ToLrecExpression);
             8      exp5     = lrec(exp4 + *(((LT | LE | GT | GE) + exp4)[ToBinaryLrec] | (AS + type)[ToCastingLrec] | (IS + type)[ToIsTypeLrec]), ToLrecExpression);
             9      exp6     = lrec(exp5 + *(((EE | NE) + exp5)[ToBinaryLrec]), ToLrecExpression);
            10      exp7     = lrec(exp6 + *((BITAND + exp6)[ToBinaryLrec]), ToLrecExpression);
            11      exp8     = lrec(exp7 + *((XOR + exp7)[ToBinaryLrec]), ToLrecExpression);
            12      exp9     = lrec(exp8 + *((BITOR + exp8)[ToBinaryLrec]), ToLrecExpression);
            13      exp10     = lrec(exp9 + *((AND + exp9)[ToBinaryLrec]), ToLrecExpression);
            14      exp11     = lrec(exp10 + *((OR + exp10)[ToBinaryLrec]), ToLrecExpression);
            15      exp12     = lrec(exp11 + *((QQ + exp11)[ToNullChoiceLrec]), ToLrecExpression);
            16      exp13     = lrec(exp12 + *((QT + (exp12 + (COLON(NeedColon) >> exp12)))[ToChoiceLrec]), ToLrecExpression);
            17      expression    = (exp13 + OPEQ + expression)[ToBinaryEq]
            18            | (exp13 + EQ + expression)[ToAssignment]
            19            | exp13
            20            ;
            21 
            22 


            posted on 2011-06-04 21:45 陳梓瀚(vczh) 閱讀(3590) 評論(10)  編輯 收藏 引用 所屬分類: VL++3.0開發紀事

            評論:
            # re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 02:05 | iloveprogramme
            學習啊  回復  更多評論
              
            # re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 06:47 | 林林
            你的解析器是自頂向下分析的,用自底向上的比較好吧?  回復  更多評論
              
            # re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 07:45 | 陳梓瀚(vczh)
            @林林
            那個規約順序只是一個解釋而已,跟實際的順序不一樣的。我這里還是自底向上的  回復  更多評論
              
            # re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 12:56 | ooseven
            @陳梓瀚(vczh)
            當然不能憑你上面的順序來判斷你分析的方式,只不過發現你好像
            很喜歡提到spirit,它是自頂向下的語法分析器所以我才有此一問。  回復  更多評論
              
            # re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 17:51 | 陳梓瀚(vczh)
            @ooseven
            原來林林==ooseven啊  回復  更多評論
              
            # re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 22:01 | lwch
            組合子在構造分析樹時是自頂向下的,而在分析時則是自底向上的.  回復  更多評論
              
            # re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-06 04:43 | ooseven
            @陳梓瀚(vczh)
            是阿,早兩年前寫詞法與語法分析器的時候還向您請教過呢,
            在這里表達我的感謝之意!  回復  更多評論
              
            # re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-06 06:08 | 陳梓瀚(vczh)
            @ooseven
            我很喜歡傳播知識的滅哈哈  回復  更多評論
              
            # re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化[未登錄] 2011-06-06 22:05 | vincent
            你倆的id換的我淚奔了  回復  更多評論
              
            # re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-07 00:33 | 陳梓瀚(vczh)
            @vincent
            為何要淚奔  回復  更多評論
              
            久久99精品国产麻豆| 久久婷婷五月综合97色一本一本| 99久久精品影院老鸭窝| 久久香蕉一级毛片| 欧美久久天天综合香蕉伊| 亚洲精品乱码久久久久久蜜桃图片| 一本色道久久HEZYO无码| 99热成人精品免费久久| 久久婷婷是五月综合色狠狠| 99国产欧美久久久精品蜜芽| 久久久久人妻精品一区三寸蜜桃| 国内精品久久久久影院薰衣草 | 亚洲AV无码久久精品成人| 伊人 久久 精品| 国产精品无码久久久久久| 精品久久久久中文字幕一区| 国产69精品久久久久9999APGF| 久久久久中文字幕| 精品国产99久久久久久麻豆| 国产Av激情久久无码天堂| 亚洲国产成人精品无码久久久久久综合 | 久久精品aⅴ无码中文字字幕不卡| 香港aa三级久久三级| 久久久久久亚洲AV无码专区| 亚洲欧美成人久久综合中文网| 国内精品久久久久影院一蜜桃| 久久精品国产亚洲AV蜜臀色欲| 久久久久亚洲AV综合波多野结衣| 久久久久中文字幕| jizzjizz国产精品久久| 亚洲av成人无码久久精品 | 久久99国产精品久久99小说| 激情久久久久久久久久| 国产ww久久久久久久久久| 久久综合综合久久97色| 久久r热这里有精品视频| 国产一区二区三区久久精品| 99久久精品国产高清一区二区| 激情伊人五月天久久综合| 国产成人精品久久一区二区三区 | 色欲久久久天天天综合网|