青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

隨筆-341  評論-2670  文章-0  trackbacks-0
    之前曾經為Parser Combinator寫過一篇教程。這次為了處理Vczh Library++新設計的ManagedX托管語言,我為Parser Combinator新增了三個組合子。

    第一個是def,第二個是let。它們組合使用。def(pattern, defaultValue)的意思是,如果pattern成功了那么返回pattern的分析結構,否則返回defaultValue。let(pattern, value)的意思是,如果pattern成功了則返回value,否則失敗。因此他們可以一起使用。舉個例子,ManagedX跟C#一樣具有5種type accessor:public, protected, protected internal, private, internal。其中四種accessor的文法類型是token,剩下的protected internal則是tuple<token, token>。因此我們無法很方便地為它寫一個記號到語法樹的轉換函數。而且對于缺省情況要返回private的這種行為,在EBNF+handler上直接表達出來也比較困難。當def和let還不存在的時候,我們需要這么寫:

    accessor = (PUBLIC[ToAccessor] | PROTECTED[ToAccessor] | PRIVATE[ToAccessor] | INTERNAL[ToAccessor] | (PROTECTED + INTERNAL)[ToProtectedInternal])[ToAccessorWithDefault];

    這個時候我們需要創建三個函數,分別是ToAccessor、ToProtectedInternal和ToAccessorWithDefault。因為accessor本身不是一個重要的語法元素,所以我們不需要為accessor記錄一些源代碼的位置信息。表達式則需要位置信息,這可以在我們產生錯誤信息的時候知道錯誤發生在源代碼中的位置。而accessor總是直接屬于某一個重要的語法元素的,所以不需要保存。如果不需要保存位置信息的話,那么一個ToXXX的函數其實就是沒有必要的。這個時候可以讓def和let來簡化操作:

    accessor = def(let(PUBLIC, acc::Public) | let(PROTECTED, acc::Protected) | let(PRIVATE, acc::Private) | let(INTERNAL, acc::Internal) | let(PROTECTED+INTERNAL, acc::ProtectedInternal), acc::Private);

    看起來好像差不多,但實際上我們已經減少了那三個不需要存在的函數。

============================無恥的分割線====================================

    第三個是binop。做這個主要是因為那個通用的lrec(左遞歸組合子)在對付帶大量括號的表達式的時候性能表現不好。這里稍微解釋一下原因。假設我們的語言有>、+、*和()四種操作符,那文法一般都寫成:

    exp0 = NUMBER | '(' exp3 ')'
    exp1 = exp1 '*' exp0 | exp0
    exp2 = exp2 '+' exp1 | exp1
    exp3 = exp3 '>' exp2 | exp2

    因此可以很容易的知道,當我們分析1*2*3的時候,走的是下面的路子:
    exp3
    = exp2
    = exp1
    = exp1 '*' exp0
    = exp1 '*' exp1 '*' exp0
    = '1' '*' '2' '*' '3'

    現在我們做一個簡單的變換,把1*2*3變成((1*2)*3)。意義不變,但是分析的路徑卻完全改變了:
    exp3
    = exp2
    = exp1
    = exp0
    = '(' exp3 ')'
    = '(' exp2 ')'
    = '(' exp1 ')'
    = '(' exp1 '*' exp0 ')'
    = '(' exo0 '*' exp0 ')'
    = '(' '(' exp3 ')' '*' exp0 ')'
    = '(' '(' exp2 ')' '*' exp0 ')'
    = '(' '(' exp1 ')' '*' exp0 ')'
    = '(' '(' exp1 '*' exp0 ')' '*' exp0 ')'
    = '(' '(' exp0 '*' exp0 ')' '*' exp0 ')'
    = '(' '(' '1' '*' '2' ')' '*' '3' ')'

    咋一看好像沒什么區別,但是對于ManagedX這種有十幾個優先級的操作符的語言來說,如果給一個復雜的表達式的每一個節點都加上括號,等于一下子增加了上千層文法的遞歸分析。由于Parser Combinator是遞歸向下分析器,因此路徑有這么長,那么遞歸的層次也會有這么長。而且為了避免boost::Spirit那個天殺的超慢編譯速度的問題,這里犧牲了一點點性能,將組合字的Parse函數做成了虛函數,所以編譯速度提高了超多。一般來說一個需要編譯一個半小時的boost::Spirit語法分析器用我的庫只需要幾秒鐘就可以編譯完了。不過現在卻帶來了問題。括號一多,性能下降的比較明顯。但是我們顯然不能因噎廢食,因此我決定往Parser Combinator提供一個手寫的帶優先級的左右結合一二元操作符語法分析器。為了將這個手寫的分析器插入框架并變得通用,我決定采用下面的結構。下面的代碼是從ManagedX的語法分析器中截取出來的:
 1      expression    = binop(exp0)
 2             .pre(ADD_SUB, ToPreUnary).pre(NOT_BITNOT, ToPreUnary).pre(INC_DEC, ToPreUnary).precedence()
 3             .lbin(MUL_DIV_MOD, ToBinary).precedence()
 4             .lbin(ADD_SUB, ToBinary).precedence()
 5             .lbin(LT << LT, ToBinaryShift).lbin(GT >> GT, ToBinaryShift).precedence()
 6             .lbin(LT, ToBinary).lbin(LE, ToBinary).lbin(GT, ToBinary).lbin(GE, ToBinary).precedence()
 7             .post(AS + type, ToCasting).post(IS + type, ToIsType).precedence()
 8             .lbin(EE, ToBinary).lbin(NE, ToBinary).precedence()
 9             .lbin(BITAND, ToBinary).precedence()
10             .lbin(XOR, ToBinary).precedence()
11             .lbin(BITOR, ToBinary).precedence()
12             .lbin(AND, ToBinary).precedence()
13             .lbin(OR, ToBinary).precedence()
14             .lbin(QQ, ToNullChoice).precedence()
15             .lbin(QT + (expression << COLON(NeedColon)), ToChoice).precedence()
16             .rbin(OPEQ, ToBinaryEq).rbin(EQ, ToAssignment).precedence()
17             ;

    binop組合子的參數代表整個帶優先級的最高優先級表達式組合字(參考上面給出的>+*()文法,可以知道這里的exp0是什么意思)。binop給出了四個子組合子,分別是pre(前綴一元操作符)、post(后綴一元操作符)、lbin(左結合二元操作符)和rbin(右結合二元操作符)。precedence代表一個優先級的所有操作符定義結束。這里我做了一個小限制,也就是每一個precedence只能包含pre、post、lbin和rbin的其中一種。實踐表明這種限制不會帶來任何問題。因此這里我們得到了一張操作符和優先級的關系表。到了這里我們就可以在Parser Combinator的框架下寫一個手寫的語法分析器(下載源代碼并打開Library\Combinator\_Binop.h)來做了。至于如何手寫語法分析器,我之前給出了一篇文章,大家可以參考這個來閱讀_Binop.h。

    binop比起簡單的用lrec做同樣的事情,性能在debug下提高了100多倍,release下面則少一點。到了這里,Parser Combinator重新滿足了性能要求,我們可以放心大膽的用一點點無所謂的性能換取一千多倍的編譯時間了。在這里貼出當binop還沒出現的時候我用lrec給出的操作符文法的實現:
 1      exp1     = exp0
 2            | ((ADD_SUB | NOT_BITNOT | INC_DEC) + exp1)[ToUnary]
 3            ;
 4 
 5      exp2     = lrec(exp1 + *((MUL_DIV_MOD + exp1)[ToBinaryLrec]), ToLrecExpression);
 6      exp3     = lrec(exp2 + *((ADD_SUB + exp2)[ToBinaryLrec]), ToLrecExpression);
 7      exp4     = lrec(exp3 + *((((LT << LT) | (GT >> GT)) + exp3)[ToBinaryShiftLrec]), ToLrecExpression);
 8      exp5     = lrec(exp4 + *(((LT | LE | GT | GE) + exp4)[ToBinaryLrec] | (AS + type)[ToCastingLrec] | (IS + type)[ToIsTypeLrec]), ToLrecExpression);
 9      exp6     = lrec(exp5 + *(((EE | NE) + exp5)[ToBinaryLrec]), ToLrecExpression);
10      exp7     = lrec(exp6 + *((BITAND + exp6)[ToBinaryLrec]), ToLrecExpression);
11      exp8     = lrec(exp7 + *((XOR + exp7)[ToBinaryLrec]), ToLrecExpression);
12      exp9     = lrec(exp8 + *((BITOR + exp8)[ToBinaryLrec]), ToLrecExpression);
13      exp10     = lrec(exp9 + *((AND + exp9)[ToBinaryLrec]), ToLrecExpression);
14      exp11     = lrec(exp10 + *((OR + exp10)[ToBinaryLrec]), ToLrecExpression);
15      exp12     = lrec(exp11 + *((QQ + exp11)[ToNullChoiceLrec]), ToLrecExpression);
16      exp13     = lrec(exp12 + *((QT + (exp12 + (COLON(NeedColon) >> exp12)))[ToChoiceLrec]), ToLrecExpression);
17      expression    = (exp13 + OPEQ + expression)[ToBinaryEq]
18            | (exp13 + EQ + expression)[ToAssignment]
19            | exp13
20            ;
21 
22 


posted on 2011-06-04 21:45 陳梓瀚(vczh) 閱讀(3638) 評論(10)  編輯 收藏 引用 所屬分類: VL++3.0開發紀事

評論:
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 02:05 | iloveprogramme
學習啊  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 06:47 | 林林
你的解析器是自頂向下分析的,用自底向上的比較好吧?  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 07:45 | 陳梓瀚(vczh)
@林林
那個規約順序只是一個解釋而已,跟實際的順序不一樣的。我這里還是自底向上的  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 12:56 | ooseven
@陳梓瀚(vczh)
當然不能憑你上面的順序來判斷你分析的方式,只不過發現你好像
很喜歡提到spirit,它是自頂向下的語法分析器所以我才有此一問。  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 17:51 | 陳梓瀚(vczh)
@ooseven
原來林林==ooseven啊  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-05 22:01 | lwch
組合子在構造分析樹時是自頂向下的,而在分析時則是自底向上的.  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-06 04:43 | ooseven
@陳梓瀚(vczh)
是阿,早兩年前寫詞法與語法分析器的時候還向您請教過呢,
在這里表達我的感謝之意!  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-06 06:08 | 陳梓瀚(vczh)
@ooseven
我很喜歡傳播知識的滅哈哈  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化[未登錄] 2011-06-06 22:05 | vincent
你倆的id換的我淚奔了  回復  更多評論
  
# re: Vczhl Library++3.0之Parser Combinator為常見的語法結構做優化 2011-06-07 00:33 | 陳梓瀚(vczh)
@vincent
為何要淚奔  回復  更多評論
  
青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            久久久久久亚洲精品杨幂换脸| 欧美伊人精品成人久久综合97| 老牛国产精品一区的观看方式| 国内精品免费午夜毛片| 久久精品国产清高在天天线 | 亚洲免费一在线| 夜夜嗨av一区二区三区| 国产精品一区二区欧美| 久久久综合网| 你懂的网址国产 欧美| 亚洲精品中文字| 亚洲一区欧美一区| 伊人激情综合| 亚洲品质自拍| 国产精品人人爽人人做我的可爱 | 亚洲人成在线观看网站高清| 91久久精品www人人做人人爽| 欧美精品久久天天躁| 亚洲免费在线观看| 久久久久久综合| 一本色道久久加勒比精品| 亚洲一卡二卡三卡四卡五卡| 激情亚洲网站| 夜夜嗨网站十八久久| 狠狠色2019综合网| 99v久久综合狠狠综合久久| 国产一区导航| 日韩视频二区| 激情久久久久久久| avtt综合网| 亚洲风情在线资源站| 亚洲天堂激情| 日韩小视频在线观看专区| 性色av一区二区三区| 99国产精品私拍| 久久精品女人| 欧美一级片久久久久久久| 老司机免费视频久久| 小处雏高清一区二区三区| 欧美成人免费观看| 久久久久国产精品午夜一区| 欧美三区在线观看| 亚洲国产精品一区二区三区| 国产亚洲精品7777| 亚洲婷婷在线| 亚洲视频在线观看| 欧美大片18| 欧美成人一区二区三区在线观看 | 亚洲黄色免费| 欧美一区二区三区免费观看| 亚洲一区二区伦理| 欧美精品激情在线观看| 欧美va天堂| 在线播放不卡| 久久福利精品| 久久免费精品视频| 国产情人综合久久777777| 亚洲午夜精品久久久久久app| 日韩视频在线观看免费| 另类欧美日韩国产在线| 欧美sm视频| 亚洲精品黄网在线观看| 久久亚洲一区二区| 欧美成人官网二区| 亚洲国产精品久久久久久女王| 欧美亚洲尤物久久| 久久狠狠亚洲综合| 国语自产精品视频在线看抢先版结局| 午夜日韩av| 久久婷婷国产综合国色天香 | 欧美第一黄网免费网站| 欧美大片国产精品| 91久久午夜| 欧美精品一区二区蜜臀亚洲| 亚洲高清在线视频| 一本大道久久精品懂色aⅴ| 欧美日韩国产成人在线观看| 99精品欧美一区| 翔田千里一区二区| 激情婷婷亚洲| 欧美成人亚洲成人| 一区二区三区 在线观看视| 亚洲综合首页| 国内成+人亚洲+欧美+综合在线| 久久精品理论片| 亚洲人妖在线| 亚洲欧美另类国产| 激情久久久久久久久久久久久久久久| 久久一二三国产| 日韩亚洲欧美一区| 久久久久这里只有精品| 亚洲欧洲在线视频| 国产精品久久久久久超碰| 欧美在线观看一区| 亚洲日本在线视频观看| 午夜精品一区二区三区在线播放| 国产亚洲欧美一区| 欧美人交a欧美精品| 午夜视频在线观看一区二区三区 | 麻豆久久精品| 99精品视频免费观看| 国产精品美女xx| 欧美a级片一区| 亚洲视频成人| 欧美激情视频一区二区三区免费| 亚洲一区网站| 亚洲国产婷婷香蕉久久久久久99| 欧美网站在线| 久久综合激情| 午夜精品网站| 亚洲精品美女| 免费观看一级特黄欧美大片| 99精品久久| 尤物yw午夜国产精品视频| 欧美日韩在线一区二区| 久久在线播放| 久久国产精品72免费观看| 一区二区三区视频免费在线观看| 欧美a级大片| 午夜一区二区三视频在线观看| 91久久久一线二线三线品牌| 国产一二精品视频| 国产精品久久久一区二区三区| 欧美大色视频| 久久亚洲精品欧美| 久久国产精品久久久| 亚洲无限av看| 一区二区欧美激情| 日韩午夜免费| 亚洲精品一二| 亚洲精品黄色| 亚洲欧洲日夜超级视频| 欧美大片专区| 欧美成人按摩| 欧美jizz19性欧美| 免费日本视频一区| 麻豆国产精品一区二区三区| 久久久久久香蕉网| 久久久欧美一区二区| 久久精品久久99精品久久| 欧美亚洲系列| 久久精品亚洲一区二区三区浴池| 亚洲欧美变态国产另类| 亚洲在线1234| 性欧美暴力猛交69hd| 欧美一区二区网站| 欧美中文字幕久久| 久久男人资源视频| 免费久久99精品国产| 女仆av观看一区| 欧美成人网在线| 亚洲国产日韩欧美在线动漫| 亚洲电影在线观看| 亚洲精品免费在线| 99在线观看免费视频精品观看| 日韩一级免费| 亚洲欧美激情四射在线日| 亚洲欧美日韩一区二区在线| 欧美一区国产一区| 久久天天躁狠狠躁夜夜av| 欧美1区视频| 欧美日本一区| 国产区精品视频| 欲色影视综合吧| 亚洲精品网站在线播放gif| 亚洲视频久久| 久久精品亚洲乱码伦伦中文| 裸体一区二区三区| 亚洲精品影院在线观看| 亚洲视频一起| 久久免费精品日本久久中文字幕| 久久综合色天天久久综合图片| 欧美久久一区| 国产日韩av一区二区| 亚洲精品一区二区三区在线观看| 中日韩视频在线观看| 久久精品综合| 日韩一级大片| 久久精品在线| 国产精品豆花视频| 亚洲激情av在线| 欧美亚洲免费| 欧美国产日韩精品免费观看| 亚洲午夜久久久| 美脚丝袜一区二区三区在线观看| 欧美亚州韩日在线看免费版国语版| 国产有码一区二区| 亚洲一区二区三区中文字幕 | 亚洲精品一二区| 久久国产精品99国产| 亚洲欧洲日本mm| 欧美一级大片在线免费观看| 欧美精品国产精品| 国内揄拍国内精品少妇国语| 正在播放亚洲| 亚洲精华国产欧美| 久久精品国产亚洲精品| 欧美日韩免费高清| 亚洲人成人一区二区三区| 久久免费视频一区|