http://hi.baidu.com/wangyuquansky/blog/item/46863716e253e756f2de322a.html
1.字符串的操作:
1.1 字符串的類型
/ 數(shù)字或者數(shù)字組合(能夠返回結果,即程序退出狀態(tài)是0,說明屬于這種類型,反之不然)
$ i=5;j=9423483247234;
$ echo $i | grep [0-9]*
5
$ echo $j | grep [0-9]*
9423483247234
$ echo $j | grep [0-9]* >/dev/null
$ echo $?
0
// 字符組合(小寫字母、大寫字母、兩者的組合)
$ c="A"; d="fwefewjuew"; e="fewfEFWefwefe"
$ echo $c | grep [A-Z]
A
$ echo $d | grep "[a-z]*"
fwefewjuew
$ echo $e | grep "[a-zA-Z]*"
fewfEFWefwefe
// 字母和數(shù)字的組合
$ ic="432fwfwefeFWEwefwef"
$ echo $ic | grep "[0-9a-zA-Z]*"
432fwfwefeFWEwefwef
// 空格或者Tab鍵等
$ echo " " | grep " "
$ echo -e "\t" | grep "[[:space:]]" #[[:space:]]會同時匹配空格和TAB鍵
$ echo -e " \t" | grep "[[:space:]]"
$ echo -e "\t" | grep "<tab>" #<tab>為在鍵盤上按下TAB鍵,而不是字符<tab>
// 匹配郵件地址
$ echo "test2007@lzu.cn" | grep "[0-9a-zA-Z\.]*@[0-9a-zA-Z\.]"
test2007@lzu.cn
// 匹配URL地址(以http鏈接為例)
$ echo "http://news.lzu.edu.cn/article.jsp?newsid=10135" | grep "http://[0-9a-zA-Z\./=?]*"
http://news.lzu.edu.cn/article.jsp?newsid=10135
說明:
[1] /dev/null和/dev/zero是非常有趣的兩個設備,它們都猶如一個黑洞,什么東西掉進去都會消失殆盡;后者則是一個能源箱,你總能從那里取到0,直到你退出。兩者的部分用法見:關于zero及NULL設備的一些問題
[2] [[:space:]]是grep用于匹配空格或者TAB鍵類型字符串的一種標記,其他類似的標記請查看grep的幫助,man grep。
[3] 上面都是用grep來進行模式匹配,實際上sed, awk都可以用來做模式匹配,關于匹配中用到的正則匹配模式知識,大家可以參考正則匹配模式,更多相關資料請看參考資料。
[4] 如果僅僅想判斷字符串是否為空,即判斷字符串的長度是否為零,那么可以簡單的通過test命令的-z選項來判斷,具體用法見test命令,man test.
概要示例: 判斷字符是否可打???如何控制字符在終端的顯示。
// 用grep判斷某個字符是否為可打印字符 |
更多關于字符在終端的顯示控制方法,請參考資料[20]和字符顯示實例[21]:用shell實現(xiàn)的一個動態(tài)時鐘。
1.2 字符串的長度
概要示例: 除了組成字符串的字符類型外,字符串還有哪些屬性呢?組成字符串的字符個數(shù)。下面我們來計算字符串的長度,即所有字符的個數(shù),并簡單介紹幾種求字符串中指定字符個數(shù)的方法。
// 計算某個字符串的長度,即所有字符的個數(shù)[這計算方法是五花八門,擇其優(yōu)著而用之] |
說明:
${}操作符在Bash里頭一個“大牛”,能勝任相當多的工作,具體就看看網中人的《shell十三問》之《Shell十三問》之"$(( )) 與 $( ) 還有${ } 差在哪?" 吧。
1.3 字符串的存儲
在我們看來,字符串是一連串的字符而已,但是為了操作方便,我們往往可以讓字符串呈現(xiàn)出一定的結構。在這里,我們不關心字符串在內存中的實際存儲結構,僅僅關系它呈現(xiàn)出來的邏輯結構。比如,這樣一個字符串:"get the length of me",我們可以從不同的方面來呈現(xiàn)它。
1.3.1 通過字符在串中的位置來呈現(xiàn)它
這樣我們就可以通過指定位置來找到某個子串。這在c語言里頭通??梢岳弥羔榿碜?。而在shell編程中,有很多可用的工具,諸如expr,awk都提供了類似的方法來實現(xiàn)子串的查詢動作。兩者都幾乎支持模式匹配(match)和完全匹配(index)。這在后面的字符串操作中將詳細介紹。
1.3.2 根據(jù)某個分割符來取得字符串的各個部分
這里最常見的就是行分割符、空格或者TAB分割符了,前者用來當行號,我們似乎已經司空見慣了,因為我們的編輯器就這樣“莫名”地處理著行分割符(在 unix下為\n,在其他系統(tǒng)下有一些不同,比如windows下為\r\n)。而空格或者TAB鍵經常用來分割數(shù)據(jù)庫的各個字段,這似乎也是司空見慣的事情。
正是因為這樣,所以產生了大量優(yōu)秀的行編輯工具,諸如grep,awk,sed等。在“行內”(姑且這么說吧,就是處理單行,即字符串里頭不再包含行分割符)的字符串分割方面,cut和awk提供了非常優(yōu)越的“行內”(處理單行)處理能力。
1.3.3 更方便地處理用分割符分割好的各個部分
同樣是用到分割符,但為了更方便的操作分割以后的字符串的各個部分,我們抽象了“數(shù)組”這么一個數(shù)據(jù)結構,從而讓我們更加方便地通過下標來獲取某個指定的部分。bash提供了這么一種數(shù)據(jù)結構,而優(yōu)秀的awk也同樣提供了它,我們這里將簡單介紹它們的用法。
概要示例:利用數(shù)組存放"get the length of me"的用空格分開的各個部分。
//1. bash提供的數(shù)組數(shù)據(jù)結構,它是以數(shù)字為下標的,和C語言從0開始的下標一樣 |
okay,就介紹到這里啦。為什么要介紹這些內容?再接著看下面的內容,你就會發(fā)現(xiàn),那些有些的工具是怎么產生和發(fā)展起來的了,如果累了,看看最后一篇參考資料吧,它介紹了一些linux命令名字的由來,說不定可以幫助你理解本節(jié)下面的部分呢。
2. 字符串常規(guī)操作
字符串操作包括取子串、查詢子串、插入子串、刪除子串、子串替換、子串比較、子串排序、子串進制轉換、子串編碼轉換等。
2.1 取子串
概要示例:取子串的方法主要有:直接到指定位置求子串,字符匹配求子串。
// 按照位置取子串,比如從什么位置開始,取多少個字符 |
說明:
[1] %和#的區(qū)別是,刪除字符的方向不一樣,前者在右,后者在左,%%和%,##和#的方向是前者是最大匹配,后者是最小匹配。(好的記憶方法見網中人的鍵盤記憶法:#$%是鍵盤依次從左到右的三個鍵)
[2] tr的-c選項是complement的縮寫,即invert,而-d選項是刪除的意思,tr -cd "[a-z]"這樣一來就變成保留所有的字母啦。
對于字符串的截取,實際上還有一些命令,如果head,tail等可以實現(xiàn)有意思的功能,可以截取某個字符串的前面、后面指定的行數(shù)或者字節(jié)數(shù)。例如:
$ echo "abcdefghijk" | head -c 4 |
2.2. 查詢子串
概要示例:子串查詢包括:返回符合某個模式的子串本身和返回子串在目標串中的位置。
準備:在進行下面的操作之前,請把http://oss.lzu.edu.cn/blog/blog.php?do_showone/tid_1385.html鏈接中的內容復制到一個文本text里頭,用于下面的操作。
// 查詢子串在目標串中的位置 |
說明:
[1] awk,grep,sed都能通過模式匹配查找指定的字符串,但是它們各有擅長的領域,我們將在后續(xù)的章節(jié)中繼續(xù)使用和比較它們,從而發(fā)現(xiàn)各自的優(yōu)點。
[2] 在這里我們姑且把文件內容當成了一個大的字符串,在后面的章節(jié)中我們將專門介紹文件的操作,所以對文件內容中存放字符串的操作將會有更深入的分析和介紹。
2.3. 子串替換
子串替換就是把某個指定的子串替換成其他的字符串,實際上這里就蘊含了“插入子串”和“刪除子串”的操作。例如,你想插入某個字符串到某個子串之前,就可以把原來的子串替換成”子串+新的字符串“,如果想刪除某個子串,就把子串替換成空串。不過有些工具提供了一些專門的用法來做插入子串和刪除子串的操作,所以呆伙還是會專門介紹的。另外,要想替換掉某個子串,一般都是先找到子串(查詢子串),然后再把它替換掉的,實質上很多工具在使用和設計上都體現(xiàn)了這么一點。
概要示例:下面我們把變量var中的空格替換成下劃線看看。
// 用{}運算符,還記得么?網中人的教程。 |
說明:sed還有很有趣的標簽用法呢,下面再介紹吧。
有一種比較有意思的字符串替換是,整個文件行的倒置,這個可以通過tac命令實現(xiàn),它會把文件中所有的行全部倒轉過來。在一定意義上來說,排序實際上也是一個字符串替換。
2.4. 插入子串
插入子串:就是在指定的位置插入子串,這個位置可能是某個子串的位置,也可能是從某個文件開頭算起的某個長度。通過上面的練習,我們發(fā)現(xiàn)這兩者之間實際上是類似的。
公式:插入子串=把"old子串"替換成"old子串+new子串"或者"new子串+old子串"
概要示例::下面在var字符串的空格之前或之后插入一個下劃線
// 用{} |
2.5. 刪除子串刪除子串:應該很簡單了吧,把子串替換成“空”(什么都沒有)不就變成了刪除么。還是來簡單復習一下替換吧。概要示例::把var字符串中所有的空格給刪除掉。鼓勵:這樣一替換不知道變成什么單詞啦,誰認得呢?但是中文卻是連在一起的,所以中文有多難,你想到了么?原來你也是個語言天才,而英語并不可怕,你有學會它的天賦,只要你有這個打算。如果要刪除掉第一個空格后面所有的字符串該怎么辦呢?還記得{}的#和%用法么?如果不記得,回到這一節(jié)的還頭開始復習吧。(實際上刪除子串和取子串未嘗不是兩種互補的運算呢,刪除掉某些不想要的子串,也就同時取得另外那些想要的子串——這個世界就是一個“二元”的世界,非常有趣)這個很簡單:還記得test命令的用法么?man test。它可以用來判斷兩個字符串是否相等的。另外,你發(fā)現(xiàn)了“字符串是否相等”和“字符串能否跟另外一個字符串匹配"兩個問題之間的關系嗎?如果兩個字符串完全匹配,那么這兩個字符串就相等了。所以呢,上面用到的字符串匹配方法,也同樣可以用到這里。差點忘記這個重要的內容了,子串排序可是經常用到的,常見的有按字母序、數(shù)字序等正序或反序排列。sort命令可以用來做這個工作,它和其他行處理命令一樣,是按行操作的,另外,它類似cut和awk,可以指定分割符,并指定需要排序的列。如果字母和數(shù)字字符用來計數(shù),那么就存在進制轉換的問題。在數(shù)值計算一節(jié)的回復資料里,我們已經介紹了bc命令,這里再簡單的復習一下。說明:ibase指定輸入進制,obase指出輸出進制,這樣通過調整ibase和obase,你想怎么轉就怎么轉啦!什么是字符編碼?這個就不用介紹了吧,看過那些亂七八糟顯示的網頁么?大多是因為瀏覽器顯示時的”編碼“和網頁實際采用的”編碼“不一致導致的。字符編碼通常是指把一序列”可打印“字符轉換成二進制表示,而字符解碼呢則是執(zhí)行相反的過程,如果這兩個過程不匹配,則出現(xiàn)了所謂的”亂碼“。為了解決”亂碼“問題呢?就需要進行編碼轉換。在linux下,我們可以使用iconv這個工具來進行相關操作。這樣的情況經常在不同的操作系統(tǒng)之間移動文件,不同的編輯器之間交換文件的時候遇到,目前在windows下常用的漢字編碼是gb2312,而在linux下則大多采用utf8。說明:我的終端默認編碼是utf8,所以結果如上。實際上,在用Bash編程時,大部分時間都是在處理字符串,因此把這一節(jié)熟練掌握非常重要。范例演示:處理URL地址URL地址 (URL(Uniform Resoure Locator:統(tǒng)一資源定位器)是WWW頁的地址)幾乎是我們日常生活的玩伴,我們已經到了無法離開它的地步啦,對它的操作很多,包括判斷URL地址的有效性,截取地址的各個部分(服務器類型、服務器地址、端口、路徑等)并對各個部分進行進一步的操作。下面我們來具體處理這個URL地址:有了上面的知識,我們就可以非常容易地進行這些工作啦:修改某個文件的文件名,比如調整它的編碼,下載某個網頁里頭的所有pdf文檔等。這些就作為練習自己做吧,如果遇到問題,可以在回帖交流。相應地可以參考這個例子:[1] 用腳本下載某個網頁中的英文原著(pdf文檔)平時做工作,大多數(shù)時候處理的都是一些“格式化”的文本,比如類似/etc/passwd這樣的有固定行和列的文本,也有類似tree命令輸出的那種具有樹形結構的文本,當然還有其他具有特定結構的文本。關于樹狀結構的文本的處理,可以考慮看看這兩個例子: [1] 用AWK轉換樹形數(shù)據(jù)成關系表[2] 用Graphviz進行可視化操作──繪制函數(shù)調用關系圖實際上,只要把握好特性結構的一些特點,并根據(jù)具體的應用場合,處理起來就不會困難。下面我們來介紹具體有固定行和列的文本的操作,以/etc/passwd文件為例。關于這個文件的幫忙和用戶,請通過man 5 passwd查看。下面我們對這個文件以及相關的文件進行一些有意義的操作。上面涉及到了處理某格式化行中的指定列,包括截?。ㄈ鏢QL的select用法),連接(如SQL的join用法),排序(如SQL的order by用法),都可以通過指定分割符來拆分某個格式化的行,另外,“截取”的做法還有很多,不光是cut,awk,甚至通過IFS指定分割符的read命令也可以做到,例如:因此,熟悉這些用法,我們的工作將變得非常靈活有趣。到這里,需要做一個簡單的練習,如何把按照列對應的用戶名和用戶ID轉換成按照行對應的,即把類似下面的數(shù)據(jù):轉換成:并轉換回去,有什么辦法呢?記得諸如tr,paste,split等命令都可以使用。參考方法:*正轉換:先截取用戶名一列存入文件user,再截取用戶ID存入id,再把兩個文件用paste -s命令連在一起,這樣就完成了正轉換。*逆轉換:先把正轉換得到的結果用split -1拆分成兩個文件,再把兩個拆分后的文件用tr把分割符"\t"替換成"\n",只有用paste命令把兩個文件連在一起,這樣就完成了逆轉換。更多有趣的例子,可以參考該序列第一部分的回復,即參考資料[16]的回復,以及蘭大開源社區(qū)鏡像站用的鏡像腳本,即參考資料[17],另外,參考資料[18] 關于用Shell實現(xiàn)一個五筆反查小工具也值得閱讀和改進。