興海北路

字符串:
簡稱“串”。有限字符的序列。數據元素為字符的線性表，是一種數據的邏輯結構。在計算機中可有不同的存儲結構。在串上可進行求子串、插入字符、刪除字符、置換字符等運算。

字符:
計算機程序設計及操作時使用的符號。包括字母、數字、空格符、提示符及各種專用字符等。

// 數字或者數字組合（能夠返回結果，即程序提出狀態是0，說明屬于這種類型，反之不然）
$ i=5;j=9423483247234;
$ echo $i | grep [0-9]*
5
$ echo $j | grep [0-9]*
9423483247234
$ echo $j | grep [0-9]* >/dev/null
$ echo $?
0
// 字符組合（小寫字母、大寫字母、兩者的組合）
$ c="A"; d="fwefewjuew"; e="fewfEFWefwefe"
$ echo $c | grep [A-Z]
A
$ echo $d | grep "[a-z]*"
fwefewjuew
$ echo $e | grep "[a-zA-Z]*"
fewfEFWefwefe
// 字母和數字的組合
$ ic="432fwfwefeFWEwefwef"
$ echo $ic | grep "[0-9a-zA-Z]*"
432fwfwefeFWEwefwef
// 空格或者Tab鍵等
$ echo " " | grep " "
 
$ echo -e "\t" | grep "[[:space:]]" #[[:space:]]會同時匹配空格和TAB鍵

$ echo -e " \t" | grep "[[:space:]]"

$ echo -e "\t" | grep "<tab>" #<tab>為在鍵盤上按下TAB鍵，而不是字符<tab>
// 匹配郵件地址
$ echo "test2007@lzu.cn" | grep "[0-9a-zA-Z\.]*@[0-9a-zA-Z\.]"
test2007@lzu.cn
// 匹配URL地址(以http鏈接為例）
$ echo "http://news.lzu.edu.cn/article.jsp?newsid=10135" | grep "http://[0-9a-zA-Z\./=?]*"
http://news.lzu.edu.cn/article.jsp?newsid=10135

// 用grep判斷某個字符是否為可打印字符
$ echo "\t\n" | grep "[[:print:]]"
\t\n
$ echo $?
0
$ echo -e "\t\n" | grep "[[:print:]]"
$ echo $?
1
// 用echo的-e選項在屏幕控制字符顯示位置、顏色、背景等
$ echo -e "\33[31;40m" #設置前景色為黑色，背景色為紅色
$ echo -e "\33[11;29H Hello, World\!" #在屏幕的第11行，29列開始打印字符串Hello,World!
// 在屏幕的某個位置動態顯示當前系統時間
$ while :; do echo -e "\33[11;29H "$(date "+%Y-%m-%d %H:%M:%S"); done
// 用col命令過濾掉某些控制字符，在處理諸如script,screen等截屏命令的輸出結果時，很有用
$ screen -L
$ cat /bin/cat
$ exit
$ cat screenlog.0 | col -b   # 把一些控制字符過濾后，就可以保留可讀的操作日志

// 計算某個字符串的長度，即所有字符的個數[這計算方法是五花八門，擇其優著而用之]
$ var="get the length of me"
$ echo ${var}     # 這里等同于$var
get the length of me
$ echo ${#var}
20
$ expr length "$var"
20
$ echo $var | awk '{printf("%d\n", length($0));}'
20
$ echo -n $var |  wc -c
20
// 計算某些指定一個字符或者多個字符的個數
$ echo $var | tr -cd g | wc -c
2
$ echo -n $var | sed -e 's/[^g]//g' | wc -c
2
$ echo -n $var | sed -e 's/[^gt]//g' | wc -c
5
// 如果要統計單詞個數，更多相關信息見《shell編程之數值計算》之 _單詞統計_ 實例。
$ echo $var | wc -w
5
$ echo "$var" | tr " " "\n" | grep get | uniq -c
1
$ echo "$var" | tr " " "\n" | grep get | wc -l
1

//1. bash提供的數組數據結構，它是以數字為下標的，和C語言從0開始的下標一樣
$ var="get the length of me"
$ var_arr=($var)    #這里把字符串var存放到字符串數組var_arr中了，默認以空格作為分割符
$ echo ${var_arr[0]} ${var_arr[1]} ${var_arr[2]} ${var_arr[3]} ${var_arr[4]}
get the length of me
$ echo ${var_arr[@]}    #這個就是整個字符串所有部分啦，這里可以用*代替@，下同
get the length of me
$ echo ${#var_arr[@]}    #記得上面求某個字符串的長度么，#操作符，如果想求某個數組元素的字符串長度，那么就把@換成下標吧
5
// 你也可以直接給某個數組元素賦值
$ var_arr[5]="new_element"
$ echo ${var_arr[5]}
6
$ echo ${var_arr[5]}
new_element
// bash里頭實際上還提供了一種類似于“數組”的功能，即"for i in 用指定分割符分開的字符串" 的用法
// 即，你可以很方便的獲取某個字符串的某個部分
$  for i in $var; do echo -n $i" "; done;
get the length of me

//2. awk里頭的數組，注意比較它和bash提供的數組的異同
// split把一行按照空格分割，存放到數組var_arr中，并返回數組的長度。注意：這里的第一個元素下標不是0，而是1
$ echo $var | awk '{printf("%d %s\n", split($0, var_arr, " "), var_arr[1]);}'
5 get
// 實際上，上面的操作很類似awk自身的行處理功能：awk默認把一行按照空格分割為多個域，并可以通過$1,$2,$3...來獲取,$0表示整行
// 這里的NF是該行的域的總數，類似于上面數組的長度，它同樣提供了一種通過“下標”訪問某個字符串的功能
$ echo $var | awk '{printf("%d | %s %s %s %s %s | %s\n", NF, $1, $2, $3, $4, $5, $0);}'
5 | get the length of me | get the length of me
// awk的“數組”功能何止于此呢，看看它的for引用吧，注意，這個和bash里頭的for不太一樣，i不是元素本身，而是下標
$ echo $var | awk '{split($0, var_arr, " "); for(i in var_arr) printf("%s ",var_arr);}'
get the length of me
$ echo $var | awk '{split($0, var_arr, " "); for(i in var_arr) printf("%s ",i);}'
1 2 3 4 5
// awk還有更“厲害”的處理能力，它的下標可以不是數字，而可以是字符串，從而變成了“關聯”數組，這種“關聯”的作用在某些方便將讓我們非常方便
// 比如，我們這里就實現一個非凡的應用，把某個文件中的某個系統調用名替換成地址，如果你真正用起它，你會感慨它的“鬼斧神工”的。
// 這就是我在一個場合最好才發現的隨好的實現方案：有興趣看看awk手冊帖子中我在3樓回復的實例吧。
$ cat symbol
sys_exit
sys_read
sys_close
$ ls /boot/System.map*
$ awk '{if(FILENAME ~ "System.map") map[$3]=$1; else {printf("%s\n", map[$1])}}' /boot/System.map-2.6.20-16-generic symbol
c0129a80
c0177310
c0175d80
// 另外，awk還支持刪除某個數組元素，如果你不用了就可以用delete函數給刪除掉。如果某些場合有需要的話，別忘了awk還支持二維數組。

// 按照位置取子串，比如從什么位置開始，取多少個字符
$ var="get the length of me"
$ echo ${var:0:3}
get
$ echo ${var:(-2)}   # 方向相反呢
me
$ echo `expr substr "$var" 5 3` #記得把$var引起來，否則expr會因為空格而解析錯誤
the
$ echo $var | awk '{printf("%s\n", substr($0, 9, 6))}'
length

// 匹配字符求子串
$ echo ${var%% *} #從右邊開始計算，刪除最左邊的空格右邊的所有字符
get
$ echo ${var% *} #從右邊開始計算，刪除第一個空格右邊的所有字符
get the length of
$ echo ${var##* }  #從左邊開始計算，刪除最右邊的空格左邊的所有字符
me
$ echo ${var#* }  #從左邊開始計算，刪除第一個空格左邊的所有字符
the length of me

$ echo $var | awk '{printf("%s\n", $1);}' # awk把$var按照空格分開為多個變量，依次為$1,$2,$3,$4,$5
get
$ echo $var | awk '{printf("%s\n", $5);}'
me

$ echo $var | cut -d" " -f 5  #差點把cut這個小東西忘記啦，用起來和awk類似, -d指定分割符，如同awk用-F指定分割符一樣，-f指定“域”，如同awk的$數字。

$ echo $var | sed 's/ [a-z]*//g'  #刪除所有 空格＋字母串 的字符串，所以get后面的全部被刪除了
get
$ echo $var | sed 's/[a-z]* //g'
me

$ echo $var | tr " " "\n" | sed -n 1p #sed有按地址（行）打印(p)的功能，記得先用tr把空格換成行號
get
$ echo $var | tr " " "\n" | sed -n 5p
me

// tr也可以用來取子串哦，它也可以類似#和%來“拿掉”一些字符串來實現取子串
$ echo $var | tr -d " "
getthelengthofme
$ echo $var | tr -cd "[a-z]" #把所有的空格都拿掉了，僅僅保留字母字符串，注意-c和-d的用法
getthelengthofme

$ echo "abcdefghijk" | head -c 4
abcd
$ echo -n "abcdefghijk" | tail -c 4
hijk

// 查詢子串在目標串中的位置
$ var="get the length of me"
$ expr index "$var" t        #貌似僅僅可以返回某個字符或者多個字符中第一個字符出現的位置
3  
$ echo $var | awk '{printf("%d\n", match($0,"the"));}'    #awk卻能找出字串,match還可以匹配正則表達式
5

// 查詢子串，返回包含子串的行(awk,sed都可以實現這些功能,但是grep最擅長）
$ grep "consists of" text   # 查詢text文件包含consists of的行，并打印這些行
$ grep "consists[[:space:]]of" -n -H text # 打印文件名，子串所在行的行號和該行的內容
$ grep "consists[[:space:]]of" -n -o text # 僅僅打印行號和匹配到的子串本身的內容
$ awk '/consists of/{ printf("%s:%d:%s\n",FILENAME, FNR, $0)}' text  #看到沒？和grep的結果一樣
$ sed -n -e '/consists of/=;/consists of/p' text #同樣可以打印行號

// 用{}運算符，還記得么？網中人的教程。
$ var="get the length of me"
$ echo ${var/ /_}        #把第一個空格替換成下劃線
get_the length of me
$ echo ${var// /_}        #把所有空格都替換成了下劃線了
get_the_length_of_me

// 用awk，awk提供了轉換的最小替換函數sub和全局替換函數gsub，類似/和//
$ echo $var | awk '{sub(" ", "_", $0); printf("%s\n", $0);}'
get_the length of me
$ echo $var | awk '{gsub(" ", "_", $0); printf("%s\n", $0);}'
get_the_length_of_me

// 用sed了，子串替換可是sed的特長
$ echo $var | sed -e 's/ /_/'    #s <= substitude
get_the length of me
$ echo $var | sed -e 's/ /_/g'    #看到沒有，簡短兩個命令就實現了最小匹配和最大匹配g <= global
get_the_length_of_me

// 有忘記tr命令么？可以用替換單個字符的
$ echo $var | tr " " "_"
get_the_length_of_me
$ echo $var | tr '[a-z]' '[A-Z]'   #這個可有意思了，把所有小寫字母都替換為大寫字母
GET THE LENGTH OF ME

// 用{}
$ var="get the length of me"
$ echo ${var/ /_ }        #在指定字符串之前插入一個字符串
get_ the length of me
$ echo ${var// /_ }
get_ the_ length_ of_ me
$ echo ${var/ / _}        #在指定字符串之后插入一個字符串
get _the length of me
$ echo ${var// / _}
get _the _length _of _me

// 其他的還用演示么？這里主要介紹sed怎么用來插入字符吧，因為它的標簽功能很有趣
$ echo $var | sed -e 's/\( \)/_\1/' #\(和\)將不匹配到的字符串存放為一個標簽，按匹配順序為\1,\2...
get_ the length of me
$ echo $var | sed -e 's/\( \)/_\1/g'
get_ the_ length_ of_ me
$ echo $var | sed -e 's/\( \)/\1_/'
get _the length of me
$ echo $var | sed -e 's/\( \)/\1_/g'
get _the _length _of _me

// 看看sed的標簽的順序是不是\1,\2....，看到沒？\2和\1掉換位置后，the和get的位置掉換了
$ echo $var | sed -e 's/\([a-z]*\) \([a-z]*\) /\2 \1 /g'
the get of length me
// sed還有專門的插入指令，a和i,分別表示在匹配的行后和行前插入指定字符
$ echo $var | sed '/get/a test'
get the length of me
test
$ echo $var | sed '/get/i test'
test
get the length of me

// 再用{}
$ echo ${var// /}
getthelengthofme
// 再用awk
$ echo $var | awk '{gsub(" ","",$0); printf("%s\n", $0);}'
// 再用sed
$ echo $var | sed 's/ //g'
getthelengthofme
// 還有更簡單的tr命令，tr也可以把" "給刪除掉，看
$ echo $var | tr -d " "
getthelengthofme

$ var="get the length of me"
$ echo $var | tr ' ' '\n' | sort   #正序排
get
length
me
of
the
$ echo $var | tr ' ' '\n' | sort  -r #反序排
the
of
me
length
get
$ cat data.txt
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
41 45 44 44 26 44 42 20 20 38 37 25 45 45 45
16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
44 20 30 39 35 38 38 28 25 30 36 20 24 32 33
31 32 33 34 35 36 37 38 39 40 41 42 43 44 45
41 33 51 39 20 20 44 37 38 39 42 40 37 50 50
46 47 48 49 50 51 52 53 54 55 56
42 43 41 42 45 42 19 39 75 17 17
$ cat data.txt | sort -k 2 -n
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
44 20 30 39 35 38 38 28 25 30 36 20 24 32 33
31 32 33 34 35 36 37 38 39 40 41 42 43 44 45
41 33 51 39 20 20 44 37 38 39 42 40 37 50 50
42 43 41 42 45 42 19 39 75 17 17
41 45 44 44 26 44 42 20 20 38 37 25 45 45 45
46 47 48 49 50 51 52 53 54 55 56

$ echo "ibase=10;obase=16;10" | bc
A

$ nihao_gb2312=$(echo "你好" | iconv -f utf8 -t gb2312)
$ echo $nihao_gb2312
????
$ nihao_utf8=$(echo $nihao_gb2312 | iconv -f gb2312 -t utf8)
$ PS1="$ "
$ echo $nihao_utf8
你好

$ url="ftp://anonymous:ftp@mirror.lzu.edu.cn/software/scim-1.4.7.tar.gz"
// 匹配URL地址，判斷URL地址的有效性
$ echo $url | grep "ftp://[a-z]*:[a-z]*@[a-z\./-]*"
// 截取服務器類型
$ echo ${url%%:*}
ftp
$ echo $url | cut -d":" -f 1
ftp
// 截取域名
$ tmp=${url##*@} ; echo ${tmp%%/*}
mirror.lzu.edu.cn
// 截取路徑
$ tmp=${url##*@} ; echo ${tmp%/*}
mirror.lzu.edu.cn/software
// 截取文件名
$ basename $url
scim-1.4.7.tar.gz
$ echo ${url##*/}
scim-1.4.7.tar.gz
// 截取文件類型（擴展名）
$ echo $url | sed -e 's/.*[0-9].\(.*\)/\1/g'
tar.gz

// 選取/etc/passwd文件中的用戶名和組ID兩列
$ cat /etc/passwd | cut -d":" -f1,4
// 選取/etc/group文件中的組名和組ID兩列
$ cat /etc/group | cut -d":" -f1,3
// 如果想找出所有用戶所在的組，怎么辦？
$ join -o 1.1,2.1 -t":" -1 4 -2 3 /etc/passwd /etc/group
root:root
bin:bin
daemon:daemon
adm:adm
lp:lp
pop:pop
nobody:nogroup
falcon:users
// 先解釋一下：join命令用來連接兩個文件，有點類似于數據庫的兩個表的連接。-t指定分割符，"-1 4 -2 3"指定按照第一個文件的第4列和第二個文件的第3列，即組ID進行連接，"-o 1.1,2.1"表示僅僅輸出第一個文件的第一列和第二個文件的第一列，這樣就得到了我們要的結果，不過，可惜的是，這個結果并不準確，再進行下面的操 作，你就會發現：
$ cat /etc/passwd | sort -t":" -n -k 4 > /tmp/passwd
$ cat /etc/group | sort -t":" -n -k 3 > /tmp/group
$ join -o 1.1,2.1 -t":" -1 4 -2 3 /tmp/passwd /tmp/group
halt:root
operator:root
root:root
shutdown:root
sync:root
bin:bin
daemon:daemon
adm:adm
lp:lp
pop:pop
nobody:nogroup
falcon:users
games:users
// 可以看到這個結果才是正確的，所以以后使用join千萬要注意這個問題，否則采取更保守的做法似乎更能保證正確性，更多關于文件連接的討論見參考資料[14]

$ IFS=":"; cat /etc/group | while read C1 C2 C3 C4; do echo $C1 $C3; done

$ cat /etc/passwd | cut -d":" -f1,3 --output-delimiter=" "
root 0
bin 1
daemon 2

$ cat a
root    bin     daemon 
0       1       2