青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

馭風萬里無垠

Unix文本處理之利器-awk/gawk

日常在shell中使用awk基本是家常便飯了,但是詳細的寫一些小程序還是第一次,總體是下來,還是深深得被這門年齡比自己都要大的工具語言的魅力所折服(since 1977)。作者中最引人注目的當屬鼎鼎大名的Brian W. Kernighan (即K的簡稱來源)。目前所用的版本大多是gawk或者nawk.

作為一門微型且完整的編程語言,awk可以用數行代碼就完成其他語言需要數倍的LOC才能完成的工作。其設計哲學也是比較特殊的,核心是data-driven的,并且采用了和C類似的語法來組織。它最核心的思想應該是如下兩點:
  • pattern-action 結構 借由強大的正則表達式來匹配pattern,然后執行pattern對應的操作
  • Record/Field 處理模型  所有的輸入數據都根據制定的record separator 分割成 record, 然后沒一個record再根據field separator 分割為fields. POSIX 定義的 field separator可以為正則表達式,而gawk可以允許record separator同時為正則表達式
引發我花點時間來仔細研究awk的起因是這樣的,我們的程序在做profiling的時候,發現原來用shell寫的腳本分析一次話費的時間太長。初看了下那個腳本,大概的邏輯是要掃名所有的log文件,按照時間戳將關注的時間所耗費的時間提取出來,計算平均值,波動等最終畫出曲線圖。

整體的腳本有幾個部分(python+bash),處理一次40MB的log文件需要耗費40分鐘~1個小時,這顯然超出了預期;中間一個處理很長的部分是grep某個時間段的信息然后按照報表格式寫入到中間文件中。在想能否優化這一節的時候,忽然就想起了模式匹配來(學習Haskell的最深印象),于是大致翻了一下awk,發現很容易通過模式匹配使得按行處理,同時記錄中間的信息,而一個時間段恰好和awk的record概念吻合。

花了2個小時研讀了下awk的函數語法,自定義自己的時間截取函數(gawk的strftime很有用,尤其我們發現記錄有跳躍要自動補全中間的數據記錄時),通過三個pattern截取需要的信息,30分鐘寫出來awk的代碼來。

所幸的是,其它的shell腳本都不需要任何改動,重新跑一次,3s就處理完了原來40MB的文件,看來這點時間投入還是相當值得的。

有興趣的可參考:
     http://www.gnu.org/manual/gawk/gawk.html

PS:awk的另一作者Winberger 供職于google。
 

posted on 2011-01-02 20:32 skyscribe 閱讀(939) 評論(0)  編輯 收藏 引用 所屬分類: Linux 、Misc

<2025年11月>
2627282930311
2345678
9101112131415
16171819202122
23242526272829
30123456

導航

統計

常用鏈接

留言簿(3)

隨筆分類

隨筆檔案

搜索

最新評論

閱讀排行榜

評論排行榜

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            国产精品日日摸夜夜摸av| 999亚洲国产精| 亚洲精品久久久久久久久久久久| 国产欧美一区二区视频| 国产精品无码永久免费888| 国产精品一区二区你懂得| 国产精品专区一| 狠狠综合久久av一区二区小说| 一区二区三区在线视频播放 | 亚洲人www| 亚洲国产一区在线观看| 99pao成人国产永久免费视频| 亚洲视频观看| 久久久视频精品| 欧美激情1区2区| 国产精品v亚洲精品v日韩精品| 国产热re99久久6国产精品| 激情亚洲网站| 在线视频欧美日韩| 久久高清免费观看| 亚洲大黄网站| 亚洲欧美日韩国产另类专区| 久久五月天婷婷| 欧美日韩成人一区| 国产一区亚洲一区| 亚洲美女黄色| 久久精品99无色码中文字幕| 亚洲高清色综合| 性色av香蕉一区二区| 欧美激情a∨在线视频播放| 国产日韩三区| 一区二区三区久久久| 久久亚裔精品欧美| 宅男精品视频| 欧美成人免费网站| 国模叶桐国产精品一区| 亚洲一区二区在线免费观看视频| 男女视频一区二区| 欧美一区免费| 国产精品一二| 亚洲一区二区欧美| 亚洲精品久久久久久一区二区| 亚洲欧美另类综合偷拍| 免费短视频成人日韩| 亚洲主播在线播放| 欧美视频精品一区| 亚洲精品在线观看免费| 麻豆成人在线播放| 久久精品免费| 国产一区二区0| 亚洲欧美日韩一区二区| 欧美精品久久久久a| 黄色精品一区二区| 久久国产日韩| 性高湖久久久久久久久| 国产精品久久久久久久久婷婷| 日韩视频不卡中文| 欧美国产极速在线| 鲁大师成人一区二区三区| 国产有码一区二区| 久久精品国产亚洲一区二区三区| 中文日韩在线| 欧美性猛交一区二区三区精品| 99热精品在线| 日韩午夜免费视频| 欧美日韩在线播放三区四区| 99热这里只有精品8| 亚洲日本国产| 欧美日韩一区二区三区视频 | 亚洲在线视频| 亚洲一级在线| 国产日韩欧美a| 久久精品最新地址| 久久国产精品网站| 亚洲福利视频二区| 欧美激情一区二区三区在线视频| 牛牛影视久久网| 亚洲裸体俱乐部裸体舞表演av| 亚洲人成精品久久久久| 欧美激情中文字幕一区二区| 一本色道久久综合一区| 亚洲午夜日本在线观看| 国产伦精品一区二区三区照片91| 久久精品国产欧美激情| 久久久久国产一区二区| 亚洲国产综合视频在线观看| 亚洲人成小说网站色在线| 欧美日韩视频| 欧美一区二区三区免费视| 欧美在线视频免费| 亚洲人成高清| 亚洲视频在线观看视频| 国产午夜精品视频| 免费在线成人av| 欧美日韩成人在线观看| 久久永久免费| 欧美精品免费在线| 欧美在线视屏| 午夜亚洲视频| 久久久久久亚洲精品不卡4k岛国| 亚洲精品免费在线| 亚洲午夜国产一区99re久久| 极品少妇一区二区三区| 亚洲国产精品传媒在线观看| 国产精品一级久久久| 欧美高潮视频| 国产精品伦子伦免费视频| 亚洲国产黄色片| 国产精品自拍小视频| 欧美激情精品久久久久久蜜臀| 欧美视频网址| 欧美凹凸一区二区三区视频| 亚洲男人的天堂在线观看| 玉米视频成人免费看| 日韩亚洲综合在线| 在线电影一区| 午夜在线精品偷拍| 欧美视频导航| 欧美成人在线免费观看| 国产欧美日韩亚州综合| 亚洲欧洲综合| 极品尤物av久久免费看| 亚洲一区免费在线观看| 91久久精品国产91性色tv| 欧美亚洲综合另类| 亚洲欧美在线另类| 欧美激情亚洲激情| 欧美黄免费看| 亚洲成人资源| 久久九九久久九九| 先锋a资源在线看亚洲| 欧美激情一区二区三区| 久热精品在线| 国产手机视频一区二区| 中文av一区二区| 99精品国产一区二区青青牛奶| 久久免费高清| 美国十次成人| 国语自产精品视频在线看抢先版结局 | 亚洲精品免费电影| 亚洲精品四区| 欧美电影免费观看| 亚洲精品国产视频| 亚洲精品一区二区三区av| 久久视频精品在线| 美日韩精品免费| 激情五月婷婷综合| 久久久久一本一区二区青青蜜月| 久久久久久久高潮| 国模 一区 二区 三区| 久久精品最新地址| 开元免费观看欧美电视剧网站| 黑人巨大精品欧美一区二区| 久久精品2019中文字幕| 久久免费精品视频| 在线免费观看一区二区三区| 久久久www成人免费无遮挡大片| 久久国产精品久久久| 国产欧美精品在线| 欧美一区91| 国内精品久久久久影院色| 久久久综合免费视频| 亚洲国产高清一区二区三区| 日韩一级二级三级| 国产精品视频九色porn| 久久高清一区| 亚洲国产欧美一区二区三区久久| 亚洲精品少妇网址| 欧美视频在线观看视频极品| 亚洲在线中文字幕| 免费看成人av| 宅男精品导航| 国产一区二区三区在线观看免费视频| 欧美一区亚洲一区| 亚洲国产一区二区视频| 亚洲欧美一区二区视频| 精品不卡一区| 欧美日韩的一区二区| 亚洲免费一级电影| 欧美sm视频| 国产精品久线观看视频| 欧美一区二区三区在线播放| 免费亚洲一区二区| 亚洲欧美欧美一区二区三区| 亚洲日本电影在线| 亚洲欧洲日韩综合二区| 欧美一区国产一区| 亚洲精品影院在线观看| 国产精品一卡二| 欧美国产视频在线| 久久精品一区| 午夜精品久久| 99视频在线观看一区三区| 蜜桃精品久久久久久久免费影院| 一区二区三区日韩精品视频| 狠狠88综合久久久久综合网| 欧美日韩国产91| 久久精品视频免费播放| 一个色综合av| 亚洲国产欧美在线人成|