青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

馭風萬里無垠

Unix文本處理之利器-awk/gawk

日常在shell中使用awk基本是家常便飯了,但是詳細的寫一些小程序還是第一次,總體是下來,還是深深得被這門年齡比自己都要大的工具語言的魅力所折服(since 1977)。作者中最引人注目的當屬鼎鼎大名的Brian W. Kernighan (即K的簡稱來源)。目前所用的版本大多是gawk或者nawk.

作為一門微型且完整的編程語言,awk可以用數(shù)行代碼就完成其他語言需要數(shù)倍的LOC才能完成的工作。其設計哲學也是比較特殊的,核心是data-driven的,并且采用了和C類似的語法來組織。它最核心的思想應該是如下兩點:
  • pattern-action 結(jié)構 借由強大的正則表達式來匹配pattern,然后執(zhí)行pattern對應的操作
  • Record/Field 處理模型  所有的輸入數(shù)據(jù)都根據(jù)制定的record separator 分割成 record, 然后沒一個record再根據(jù)field separator 分割為fields. POSIX 定義的 field separator可以為正則表達式,而gawk可以允許record separator同時為正則表達式
引發(fā)我花點時間來仔細研究awk的起因是這樣的,我們的程序在做profiling的時候,發(fā)現(xiàn)原來用shell寫的腳本分析一次話費的時間太長。初看了下那個腳本,大概的邏輯是要掃名所有的log文件,按照時間戳將關注的時間所耗費的時間提取出來,計算平均值,波動等最終畫出曲線圖。

整體的腳本有幾個部分(python+bash),處理一次40MB的log文件需要耗費40分鐘~1個小時,這顯然超出了預期;中間一個處理很長的部分是grep某個時間段的信息然后按照報表格式寫入到中間文件中。在想能否優(yōu)化這一節(jié)的時候,忽然就想起了模式匹配來(學習Haskell的最深印象),于是大致翻了一下awk,發(fā)現(xiàn)很容易通過模式匹配使得按行處理,同時記錄中間的信息,而一個時間段恰好和awk的record概念吻合。

花了2個小時研讀了下awk的函數(shù)語法,自定義自己的時間截取函數(shù)(gawk的strftime很有用,尤其我們發(fā)現(xiàn)記錄有跳躍要自動補全中間的數(shù)據(jù)記錄時),通過三個pattern截取需要的信息,30分鐘寫出來awk的代碼來。

所幸的是,其它的shell腳本都不需要任何改動,重新跑一次,3s就處理完了原來40MB的文件,看來這點時間投入還是相當值得的。

有興趣的可參考:
     http://www.gnu.org/manual/gawk/gawk.html

PS:awk的另一作者Winberger 供職于google。
 

posted on 2011-01-02 20:32 skyscribe 閱讀(939) 評論(0)  編輯 收藏 引用 所屬分類: Linux 、Misc

<2025年11月>
2627282930311
2345678
9101112131415
16171819202122
23242526272829
30123456

導航

統(tǒng)計

常用鏈接

留言簿(3)

隨筆分類

隨筆檔案

搜索

最新評論

閱讀排行榜

評論排行榜

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            欧美亚男人的天堂| 欧美成人有码| 国产精品露脸自拍| 欧美日韩精品一区视频| 欧美成人免费在线观看| 欧美成人午夜激情在线| 久久久噜噜噜久久人人看| 亚洲精品国产日韩| 欧美激情视频给我| 亚洲精品国产精品乱码不99| 亚洲裸体视频| 亚洲欧美三级伦理| 久久精品国产免费看久久精品| 久久精品1区| 美女性感视频久久久| 欧美另类在线观看| 国产精品日日做人人爱| 国语精品中文字幕| 99视频国产精品免费观看| 亚洲欧美日韩中文播放| 久久三级视频| 夜夜爽夜夜爽精品视频| 欧美一级视频一区二区| 欧美大香线蕉线伊人久久国产精品| 欧美伦理视频网站| 国产美女精品视频| 日韩西西人体444www| 久久岛国电影| 亚洲美女诱惑| 久久综合久色欧美综合狠狠| 国产精品久久久久国产a级| 一区福利视频| 亚洲淫片在线视频| 欧美国产精品人人做人人爱| 亚洲无线观看| 欧美电影免费| 国产在线一区二区三区四区 | 亚洲一区亚洲| 欧美aa国产视频| 国产日韩欧美精品| 亚洲主播在线观看| 欧美国产精品久久| 欧美在线关看| 国产精品网站视频| 亚洲视频精品在线| 亚洲激情不卡| 米奇777在线欧美播放| 国产自产在线视频一区| 午夜亚洲福利在线老司机| 亚洲精品视频免费观看| 久久在线视频| 影音先锋亚洲电影| 久久九九电影| 亚洲一区二区三区四区五区午夜| 欧美日本一区二区高清播放视频| 亚洲国产成人av| 鲁鲁狠狠狠7777一区二区| 欧美一站二站| 国产综合久久久久久鬼色| 欧美中文在线免费| 亚洲欧美国产毛片在线| 欧美电影免费观看高清完整版| 欧美成人精品在线视频| 欧美一区二区三区精品| 国产精品一区二区三区免费观看| 亚洲图片欧美一区| 99综合电影在线视频| 欧美日韩国产精品一区二区亚洲| 亚洲三级影片| 亚洲日本中文字幕区| 欧美精品激情| 国产精品99久久久久久久久久久久| 亚洲欧洲一区二区三区| 欧美区国产区| 亚洲一级特黄| 亚洲欧美日本日韩| 国语自产精品视频在线看一大j8 | 国产精品视频最多的网站| 亚洲在线观看免费视频| 亚洲欧美日韩在线观看a三区 | 精品动漫av| 欧美成人激情在线| 欧美大尺度在线| 亚洲中字黄色| 久久精品三级| 9久re热视频在线精品| 中日韩美女免费视频网址在线观看 | 亚洲一级在线观看| 午夜精品一区二区三区在线播放| 国产亚洲欧美日韩日本| 免费试看一区| 欧美日韩国产一区二区三区| 亚洲性图久久| 久久黄金**| 在线中文字幕一区| 欧美一区激情| 日韩午夜激情| 久久精品亚洲国产奇米99| 日韩视频在线永久播放| 午夜宅男久久久| 亚洲裸体在线观看| 午夜精品偷拍| 日韩网站在线观看| 久久福利资源站| 亚洲午夜成aⅴ人片| 久久九九热免费视频| 亚洲性线免费观看视频成熟| 久久综合给合久久狠狠狠97色69| 亚洲一区www| 免费不卡亚洲欧美| 欧美在线亚洲综合一区| 欧美日韩dvd在线观看| 欧美在线高清| 亚洲国产裸拍裸体视频在线观看乱了中文 | 日韩一级大片在线| 尤物yw午夜国产精品视频明星| 亚洲精品一区二区三区蜜桃久| 精品电影在线观看| 欧美一区二区三区四区夜夜大片| 夜夜嗨一区二区| 免费久久精品视频| 久久久久久91香蕉国产| 国产精品美女久久| 99精品热视频只有精品10| 日韩视频永久免费观看| 久久久噜噜噜久久中文字幕色伊伊 | 久久精品91| 国产精品高精视频免费| 亚洲欧洲精品成人久久奇米网| 黄色在线成人| 欧美一区二区免费| 午夜精品在线视频| 欧美特黄a级高清免费大片a级| 亚洲精品激情| 99国产精品国产精品毛片| 免费看亚洲片| 欧美黄网免费在线观看| 韩日视频一区| 久久精品国产精品亚洲| 久久久久九九九九| 国产婷婷97碰碰久久人人蜜臀| 亚洲一区二区三区在线看| 亚洲一级一区| 国产精品美女一区二区| 亚洲一二三四久久| 午夜精品久久久久久| 国产精品久久久久9999高清| 亚洲影院在线| 久久精品视频亚洲| 1000精品久久久久久久久| 久热综合在线亚洲精品| 亚洲国产精品成人综合色在线婷婷| 亚洲全黄一级网站| 欧美日韩精品一区视频| 亚洲一区二区三区免费视频| 久久精品电影| 亚洲国产成人精品女人久久久| 久热国产精品视频| 亚洲精品视频一区| 亚洲综合色激情五月| 国产亚洲福利| 美日韩免费视频| 在线亚洲欧美| 久久亚洲精品欧美| 日韩视频在线一区二区三区| 国产精品嫩草久久久久| 久久久精品欧美丰满| 亚洲精品欧美激情| 欧美影院成年免费版| 91久久国产自产拍夜夜嗨| 欧美日韩亚洲一区二区三区在线观看 | 日韩视频在线观看| 亚洲综合首页| 国产欧美日韩亚洲| 美女亚洲精品| 这里只有精品视频在线| 久久亚洲综合网| 亚洲图片欧洲图片日韩av| 国产一区在线观看视频| 欧美精品亚洲二区| 性久久久久久久| 亚洲激情婷婷| 欧美中文字幕视频| 亚洲美女中文字幕| 国产日韩精品久久| 欧美激情精品久久久久久| 亚洲欧美中日韩| 亚洲国产精品一区| 麻豆精品视频在线观看视频| 亚洲一区二区三区四区五区午夜 | 亚洲国产日韩欧美在线99| 亚洲欧美日韩区| 一本久道久久综合狠狠爱| 国内成人精品2018免费看| 欧美日韩亚洲综合一区| 美日韩在线观看| 久久久久久久久久久一区| 亚洲性线免费观看视频成熟| 91久久中文| 欧美激情视频网站|