青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

歲月流轉,往昔空明

C++博客 首頁 新隨筆 聯系 聚合 管理
  118 Posts :: 3 Stories :: 413 Comments :: 0 Trackbacks

起源:詞法分析

不管你學什么樣的外語,大約都是從詞匯開始。詞,是一個語言里最小的語義單元。編譯器閱讀你的語言,也是如此。所以第一件事情,就是要把整個文法打散成一個一個的單詞。在這里,我們把這些單詞叫token。

怎么進行詞法分析,此處就不再贅述,這是一個上下文無關文法的匹配問題。如果需要理解詞法分析的原理,或者手工編寫詞法分析工具,可以參考陳梓翰提供的兩篇極好的教程。在SASL里,我們不再發明輪子,而選用已有的詞法分析工具。

可選的詞法分析工具很多,例如出名的Lex及其改進Flex,ANTLR等。對于C++而言,這些方法多屬于產生式的方法,就是用一段不太靠譜的代碼去生成另外一些更不靠譜的代碼。更重要的是,這些代碼的編譯、調試都不方便。所以最終我們還是選擇了一個在用C++實現、并且可以直接在C++里書寫詞法和語法的分析器產生工具,它就是Spirit。

Spirit V1.8和V2.1都是Boost庫里的一個部分。需要注意的是,Spirit的V1和V2是完全不兼容的兩個庫。在這里,我們選擇了V2作為我們的詞法和語法分析工具。Spirit V2總共分為3個部分,負責語法分析的Qi,格式化打印的Karma,和詞法分析器Lex。此外,Spirit還有一個類似于boost.mpl和boost.lambda的庫phoenix,這個庫也常被用于詞法和語法分析中。詳細的使用指南和參考,可以參見Spirit的文檔。

由于Spirit.Lex大量運用了Template Meta-Programming和編譯器推導,因此編譯時很容易出錯,而且錯誤信息難于定位;同時Spirit.Lex的指南也寫得非常簡單,它所演示的特性,不足以用來實現一個完整的編譯器。因此,這里我們也將給出另外一個快速指南,以展示那些我們在撰寫編譯器時所用到的技術和特性。

這里我們仍然以A+B這樣一個簡單的表達式為例,其中A和B都是一個字面值的整數,A+B之間沒有其他空格填充。這樣我們就可以把這個“句子”拆分成A,+,B三個token。例如“33+65”就可以被拆分成“33”,“+”,“65”三個token。對于這樣一個表達式,我們只需要下面兩個正則就可以完成詞法分析:

literal_int = “[0-9]+”;

literal_add=”\+”;

由于C++里面“\”是轉義符,因此實際上literal_add實際上應該寫成“\\+”。然后我們需要用Spirit來實現。

Spirit中,首先定義一個tokens列表:

template <typename BaseLexerT>

struct sasl_tokens : public boost::spirit::lex::lexer< BaseLexerT > {

    sasl_tokens(){

        littok_int = "[0-9]+";

        optok_add = "[\\+]";

 

        this->self =

            littok_int

            | optok_add;

    }

    boost::spirit::lex::token_def<> littok_int, optok_add;

};

 

然后,我們利用這個token列表生成一個詞法分析器sasl_tokenizer:

 

typedef boost::spirit::lex::lexertl::lexer<> sasl_lexer_base;

typedef sasl_tokens<sasl_lexer_base> sasl_tokenizer;

 

最后來執行一下我們的tokenizer。在執行之前,我們寫一個callback函數,這個函數在每分析出一個詞之后,都會被調用一下,我們用它來判斷我們分出的詞正確與否:

struct token_printer{

    template <typename TokenT> bool operator()( const TokenT& tok ){

        cout << "token: " << tok.value() << endl;

        return true;

    }

};

最后執行一下詞法分析:

boost::spirit::lex::tokenize(first, last, sasl_tok, token_printer());

first,last是輸入字符串的迭代器。如果輸入為“55+65”,那么屏幕上就會依次打印出“55”,“+”,“65”的三行。

不過,如果你在“55+65”之間敲入一個空格,例如“55+_65”(‘_’代表空格)這樣的,那么詞法分析就會失敗。因為“_”這個字符,沒有合適的詞可以匹配。即便是匹配了,空白這個Token也沒辦法用在語法樹之中,最終也會導致語法分析失敗。而在程序語言里,支持空白符號的過濾掉是必不可少的。所以,下一次,我們就要將語法,順便過濾掉空白符,讓我們可以自由寫出美觀的語句。

posted on 2009-12-13 00:31 空明流轉 閱讀(1841) 評論(2)  編輯 收藏 引用

評論

# re: 實用編譯器構建指南(三) 2009-12-13 12:58 黑色靈貓
非常好的boost解析器教程  回復  更多評論
  

# re: 實用編譯器構建指南(三) 2009-12-13 14:35 正心
圍觀  回復  更多評論
  

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            在线欧美影院| 欧美高清在线视频| 欧美色区777第一页| 夜夜精品视频| 在线一区二区三区做爰视频网站| 欧美人与禽猛交乱配| 亚洲欧美影院| 久久精品视频网| 亚洲精品偷拍| 午夜精品免费视频| 亚洲国产一区二区精品专区| 亚洲美女精品一区| 国产一区二区三区免费观看 | 午夜精品福利视频| 欧美一区二区三区四区夜夜大片| 激情五月婷婷综合| 一本到高清视频免费精品| 在线观看日韩精品| 亚洲一区视频在线观看视频| 亚洲欧洲在线观看| 久久av一区二区| 亚洲婷婷国产精品电影人久久| 国产午夜精品理论片a级探花| 欧美成人精品1314www| 国产精品无码专区在线观看| 日韩小视频在线观看| 亚洲精品系列| 欧美精品一区三区在线观看| 免费亚洲一区二区| 一区二区三区在线高清| 久久国产成人| 欧美成人精品福利| 亚洲电影免费在线观看| 麻豆精品在线播放| 欧美成人国产| 99精品视频免费全部在线| 欧美激情精品久久久久久黑人| 欧美二区乱c少妇| 亚洲国产欧美在线人成| 欧美美女bbbb| 亚洲一区二区在线播放| 久久精品免费播放| 1024成人网色www| 欧美精品一区二区视频| 一区二区久久久久久| 久久精品色图| 国产精品99久久久久久www| 国产精品丝袜91| 免费观看不卡av| 亚洲一区二区三区成人在线视频精品| 校园激情久久| 一区二区高清在线| 伊人久久久大香线蕉综合直播| 免费成人黄色av| 亚洲综合精品自拍| 亚洲日本国产| 久久久久88色偷偷免费| 中文欧美日韩| 欧美一区二区免费| 在线亚洲精品| 日韩视频一区二区三区在线播放| 久久深夜福利免费观看| 午夜精品影院| 午夜视频久久久| 夜夜嗨av一区二区三区网页| 亚洲国产午夜| 最新热久久免费视频| 狠狠久久亚洲欧美| 黄色成人在线| 亚洲国产日韩欧美| 亚洲精品国久久99热| 日韩午夜激情av| 一本一本久久| 亚洲资源在线观看| 久久99在线观看| 久久综合精品国产一区二区三区| 欧美一区二区日韩一区二区| 亚洲欧美综合一区| 久久精品夜色噜噜亚洲aⅴ| 久久成人18免费网站| 美女爽到呻吟久久久久| 亚洲成色www8888| 99在线热播精品免费99热| 亚洲午夜激情| 久久精品99无色码中文字幕| 欧美国产日韩精品| 国产精品一区二区视频| 在线播放视频一区| 在线中文字幕日韩| 六月婷婷一区| 亚洲欧美国产高清va在线播| 乱码第一页成人| 国产欧美日韩精品a在线观看| 亚洲国产精选| 久久久久久久久久久一区 | 国产精品va| 久久精品一区二区国产| 欧美日韩国产一区二区| 国内伊人久久久久久网站视频| 亚洲永久免费| 亚洲精品综合精品自拍| 巨胸喷奶水www久久久免费动漫| 欧美午夜电影在线观看| 99国产一区| 欧美激情在线狂野欧美精品| 久久天堂国产精品| 在线观看欧美一区| 欧美成年人网| 免费观看在线综合| 日韩午夜电影在线观看| 91久久久久久国产精品| 欧美人成网站| 亚洲女人小视频在线观看| 这里只有精品电影| 国产深夜精品| 模特精品在线| 欧美日本中文| 久久国产欧美精品| 美女福利精品视频| 亚洲欧美日韩在线高清直播| 亚洲欧美另类综合偷拍| 一区二区在线观看av| 亚洲高清资源| 国产乱码精品一区二区三| 美女日韩在线中文字幕| 欧美日韩一区二区三区免费| 欧美一区二区三区视频| 另类激情亚洲| 欧美影院成年免费版| 欧美成人精品三级在线观看| 亚洲欧美日本国产有色| 久久躁狠狠躁夜夜爽| 亚洲免费在线电影| 欧美男人的天堂| 美女免费视频一区| 国产亚洲激情在线| 这里只有精品在线播放| 日韩视频一区二区| 免费成人小视频| 久久影院午夜片一区| 国产精品亚洲网站| 亚洲一区二区三区在线看| 欧美激情一区二区久久久| 在线视频一区观看| 久久久国产精品亚洲一区| 亚洲专区欧美专区| 国产精品日韩欧美一区| 亚洲午夜激情网页| 欧美一区久久| 在线观看视频日韩| 欧美成人免费全部观看天天性色| 久久影音先锋| 亚洲人成人99网站| 欧美日韩国产二区| 中文日韩欧美| 欧美成人蜜桃| 国产小视频国产精品| 欧美一区二区三区精品| 欧美一级大片在线观看| 亚洲在线中文字幕| 久久人人97超碰精品888| 亚洲欧美日韩久久精品| 欧美日本国产一区| 亚洲精品久久嫩草网站秘色| 亚洲成色777777女色窝| 日韩手机在线导航| 久久婷婷丁香| 久久精品日产第一区二区| 午夜精品免费在线| 欧美亚洲免费高清在线观看| 91久久久久| 国产精品人成在线观看免费| 久久久久久夜| 午夜精品久久久久久久蜜桃app | 亚洲系列中文字幕| 你懂的成人av| 亚洲一区二区三区欧美| 亚洲乱码国产乱码精品精可以看| 欧美日韩免费一区二区三区| 久久久美女艺术照精彩视频福利播放| 国产精品久久久久久久9999| 老妇喷水一区二区三区| 西瓜成人精品人成网站| 一区二区三区福利| 亚洲日韩视频| 亚洲日本中文| 欧美视频一区二区三区…| 久久亚洲一区二区| 久久综合一区| 欧美xart系列在线观看| 欧美va亚洲va国产综合| 免费久久99精品国产| 欧美国产精品人人做人人爱| 欧美**字幕| 久久99在线观看| 农夫在线精品视频免费观看| 欧美风情在线| 欧美性感一类影片在线播放| 国产日韩免费| 亚洲精品自在在线观看|