Prayer

字符串:
簡(jiǎn)稱“串”。有限字符的序列。數(shù)據(jù)元素為字符的線性表，是一種數(shù)據(jù)的邏輯結(jié)構(gòu)。在計(jì)算機(jī)中可有不同的存儲(chǔ)結(jié)構(gòu)。在串上可進(jìn)行求子串、插入字符、刪除字符、置換字符等運(yùn)算。

字符:
計(jì)算機(jī)程序設(shè)計(jì)及操作時(shí)使用的符號(hào)。包括字母、數(shù)字、空格符、提示符及各種專用字符等。

// 數(shù)字或者數(shù)字組合（能夠返回結(jié)果，即程序退出狀態(tài)是0，說明屬于這種類型，反之不然）
$ i=5;j=9423483247234;
$ echo $i | grep [0-9]*
5
$ echo $j | grep [0-9]*
9423483247234
$ echo $j | grep [0-9]* >/dev/null
$ echo $?
0
// 字符組合（小寫字母、大寫字母、兩者的組合）
$ c="A"; d="fwefewjuew"; e="fewfEFWefwefe"
$ echo $c | grep [A-Z]
A
$ echo $d | grep "[a-z]*"
fwefewjuew
$ echo $e | grep "[a-zA-Z]*"
fewfEFWefwefe
// 字母和數(shù)字的組合
$ ic="432fwfwefeFWEwefwef"
$ echo $ic | grep "[0-9a-zA-Z]*"
432fwfwefeFWEwefwef
// 空格或者Tab鍵等
$ echo " " | grep " "
 
$ echo -e "\t" | grep "[[:space:]]" #[[:space:]]會(huì)同時(shí)匹配空格和TAB鍵

$ echo -e " \t" | grep "[[:space:]]"

$ echo -e "\t" | grep "<tab>" #<tab>為在鍵盤上按下TAB鍵，而不是字符<tab>
// 匹配郵件地址
$ echo "test2007@lzu.cn" | grep "[0-9a-zA-Z\.]*@[0-9a-zA-Z\.]"
test2007@lzu.cn
// 匹配URL地址(以http鏈接為例）
$ echo "http://news.lzu.edu.cn/article.jsp?newsid=10135" | grep "http://[0-9a-zA-Z\./=?]*"
http://news.lzu.edu.cn/article.jsp?newsid=10135

// 用grep判斷某個(gè)字符是否為可打印字符
$ echo "\t\n" | grep "[[:print:]]"
\t\n
$ echo $?
0
$ echo -e "\t\n" | grep "[[:print:]]"
$ echo $?
1
// 用echo的-e選項(xiàng)在屏幕控制字符顯示位置、顏色、背景等
$ echo -e "\33[31;40m" #設(shè)置前景色為黑色，背景色為紅色
$ echo -e "\33[11;29H Hello, World\!" #在屏幕的第11行，29列開始打印字符串Hello,World!
// 在屏幕的某個(gè)位置動(dòng)態(tài)顯示當(dāng)前系統(tǒng)時(shí)間
$ while :; do echo -e "\33[11;29H "$(date "+%Y-%m-%d %H:%M:%S"); done
// 用col命令過濾掉某些控制字符，在處理諸如script,screen等截屏命令的輸出結(jié)果時(shí)，很有用
$ screen -L
$ cat /bin/cat
$ exit
$ cat screenlog.0 | col -b   # 把一些控制字符過濾后，就可以保留可讀的操作日志

// 計(jì)算某個(gè)字符串的長(zhǎng)度，即所有字符的個(gè)數(shù)[這計(jì)算方法是五花八門，擇其優(yōu)著而用之]
$ var="get the length of me"
$ echo ${var}     # 這里等同于$var
get the length of me
$ echo ${#var}
20
$ expr length "$var"
20
$ echo $var | awk '{printf("%d\n", length($0));}'
20
$ echo -n $var |  wc -c
20
// 計(jì)算某些指定一個(gè)字符或者多個(gè)字符的個(gè)數(shù)
$ echo $var | tr -cd g | wc -c
2
$ echo -n $var | sed -e 's/[^g]//g' | wc -c
2
$ echo -n $var | sed -e 's/[^gt]//g' | wc -c
5
// 如果要統(tǒng)計(jì)單詞個(gè)數(shù)，更多相關(guān)信息見《shell編程之?dāng)?shù)值計(jì)算》之 _單詞統(tǒng)計(jì)_ 實(shí)例。
$ echo $var | wc -w
5
$ echo "$var" | tr " " "\n" | grep get | uniq -c
1
$ echo "$var" | tr " " "\n" | grep get | wc -l
1

//1. bash提供的數(shù)組數(shù)據(jù)結(jié)構(gòu)，它是以數(shù)字為下標(biāo)的，和C語言從0開始的下標(biāo)一樣
$ var="get the length of me"
$ var_arr=($var)    #這里把字符串var存放到字符串?dāng)?shù)組var_arr中了，默認(rèn)以空格作為分割符
$ echo ${var_arr[0]} ${var_arr[1]} ${var_arr[2]} ${var_arr[3]} ${var_arr[4]}
get the length of me
$ echo ${var_arr[@]}    #這個(gè)就是整個(gè)字符串所有部分啦，這里可以用*代替@，下同
get the length of me
$ echo ${#var_arr[@]}    #記得上面求某個(gè)字符串的長(zhǎng)度么，#操作符，如果想求某個(gè)數(shù)組元素的字符串長(zhǎng)度，那么就把@換成下標(biāo)吧
5
// 你也可以直接給某個(gè)數(shù)組元素賦值
$ var_arr[5]="new_element"
$ echo ${var_arr[5]}
6
$ echo ${var_arr[5]}
new_element
// bash里頭實(shí)際上還提供了一種類似于“數(shù)組”的功能，即"for i in 用指定分割符分開的字符串" 的用法
// 即，你可以很方便的獲取某個(gè)字符串的某個(gè)部分
$  for i in $var; do echo -n $i" "; done;
get the length of me

//2. awk里頭的數(shù)組，注意比較它和bash提供的數(shù)組的異同
// split把一行按照空格分割，存放到數(shù)組var_arr中，并返回?cái)?shù)組的長(zhǎng)度。注意：這里的第一個(gè)元素下標(biāo)不是0，而是1
$ echo $var | awk '{printf("%d %s\n", split($0, var_arr, " "), var_arr[1]);}'
5 get
// 實(shí)際上，上面的操作很類似awk自身的行處理功能：awk默認(rèn)把一行按照空格分割為多個(gè)域，并可以通過$1,$2,$3...來獲取,$0表示整行
// 這里的NF是該行的域的總數(shù)，類似于上面數(shù)組的長(zhǎng)度，它同樣提供了一種通過“下標(biāo)”訪問某個(gè)字符串的功能
$ echo $var | awk '{printf("%d | %s %s %s %s %s | %s\n", NF, $1, $2, $3, $4, $5, $0);}'
5 | get the length of me | get the length of me
// awk的“數(shù)組”功能何止于此呢，看看它的for引用吧，注意，這個(gè)和bash里頭的for不太一樣，i不是元素本身，而是下標(biāo)
$ echo $var | awk '{split($0, var_arr, " "); for(i in var_arr) printf("%s ",var_arr);}'
get the length of me
$ echo $var | awk '{split($0, var_arr, " "); for(i in var_arr) printf("%s ",i);}'
1 2 3 4 5
// awk還有更“厲害”的處理能力，它的下標(biāo)可以不是數(shù)字，而可以是字符串，從而變成了“關(guān)聯(lián)”數(shù)組，這種“關(guān)聯(lián)”的作用在某些方便將讓我們非常方便
// 比如，我們這里就實(shí)現(xiàn)一個(gè)非凡的應(yīng)用，把某個(gè)文件中的某個(gè)系統(tǒng)調(diào)用名替換成地址，如果你真正用起它，你會(huì)感慨它的“鬼斧神工”的。
// 這就是我在一個(gè)場(chǎng)合最好才發(fā)現(xiàn)的隨好的實(shí)現(xiàn)方案：有興趣看看awk手冊(cè)帖子中我在3樓回復(fù)的實(shí)例吧。
$ cat symbol
sys_exit
sys_read
sys_close
$ ls /boot/System.map*
$ awk '{if(FILENAME ~ "System.map") map[$3]=$1; else {printf("%s\n", map[$1])}}' /boot/System.map-2.6.20-16-generic symbol
c0129a80
c0177310
c0175d80
// 另外，awk還支持刪除某個(gè)數(shù)組元素，如果你不用了就可以用delete函數(shù)給刪除掉。如果某些場(chǎng)合有需要的話，別忘了awk還支持二維數(shù)組。

// 按照位置取子串，比如從什么位置開始，取多少個(gè)字符
$ var="get the length of me"
$ echo ${var:0:3}
get
$ echo ${var:(-2)}   # 方向相反呢
me
$ echo `expr substr "$var" 5 3` #記得把$var引起來，否則expr會(huì)因?yàn)榭崭穸馕鲥e(cuò)誤
the
$ echo $var | awk '{printf("%s\n", substr($0, 9, 6))}'
length

// 匹配字符求子串
$ echo ${var%% *} #從右邊開始計(jì)算，刪除最左邊的空格右邊的所有字符
get
$ echo ${var% *} #從右邊開始計(jì)算，刪除第一個(gè)空格右邊的所有字符
get the length of
$ echo ${var##* }  #從左邊開始計(jì)算，刪除最右邊的空格左邊的所有字符
me
$ echo ${var#* }  #從左邊開始計(jì)算，刪除第一個(gè)空格左邊的所有字符
the length of me

$ echo $var | awk '{printf("%s\n", $1);}' # awk把$var按照空格分開為多個(gè)變量，依次為$1,$2,$3,$4,$5
get
$ echo $var | awk '{printf("%s\n", $5);}'
me

$ echo $var | cut -d" " -f 5  #差點(diǎn)把cut這個(gè)小東西忘記啦，用起來和awk類似, -d指定分割符，如同awk用-F指定分割符一樣，-f指定“域”，如同awk的$數(shù)字。

$ echo $var | sed 's/ [a-z]*//g'  #刪除所有 空格＋字母串 的字符串，所以get后面的全部被刪除了
get
$ echo $var | sed 's/[a-z]* //g'
me

$ echo $var | tr " " "\n" | sed -n 1p #sed有按地址（行）打印(p)的功能，記得先用tr把空格換成行號(hào)
get
$ echo $var | tr " " "\n" | sed -n 5p
me

// tr也可以用來取子串哦，它也可以類似#和%來“拿掉”一些字符串來實(shí)現(xiàn)取子串
$ echo $var | tr -d " "
getthelengthofme
$ echo $var | tr -cd "[a-z]" #把所有的空格都拿掉了，僅僅保留字母字符串，注意-c和-d的用法
getthelengthofme

$ echo "abcdefghijk" | head -c 4
abcd
$ echo -n "abcdefghijk" | tail -c 4
hijk

// 查詢子串在目標(biāo)串中的位置
$ var="get the length of me"
$ expr index "$var" t        #貌似僅僅可以返回某個(gè)字符或者多個(gè)字符中第一個(gè)字符出現(xiàn)的位置
3  
$ echo $var | awk '{printf("%d\n", match($0,"the"));}'    #awk卻能找出字串,match還可以匹配正則表達(dá)式
5

// 查詢子串，返回包含子串的行(awk,sed都可以實(shí)現(xiàn)這些功能,但是grep最擅長(zhǎng)）
$ grep "consists of" text   # 查詢text文件包含consists of的行，并打印這些行
$ grep "consists[[:space:]]of" -n -H text # 打印文件名，子串所在行的行號(hào)和該行的內(nèi)容
$ grep "consists[[:space:]]of" -n -o text # 僅僅打印行號(hào)和匹配到的子串本身的內(nèi)容
$ awk '/consists of/{ printf("%s:%d:%s\n",FILENAME, FNR, $0)}' text  #看到?jīng)]？和grep的結(jié)果一樣
$ sed -n -e '/consists of/=;/consists of/p' text #同樣可以打印行號(hào)

// 用{}運(yùn)算符，還記得么？網(wǎng)中人的教程。
$ var="get the length of me"
$ echo ${var/ /_}        #把第一個(gè)空格替換成下劃線
get_the length of me
$ echo ${var// /_}        #把所有空格都替換成了下劃線了
get_the_length_of_me

// 用awk，awk提供了轉(zhuǎn)換的最小替換函數(shù)sub和全局替換函數(shù)gsub，類似/和//
$ echo $var | awk '{sub(" ", "_", $0); printf("%s\n", $0);}'
get_the length of me
$ echo $var | awk '{gsub(" ", "_", $0); printf("%s\n", $0);}'
get_the_length_of_me

// 用sed了，子串替換可是sed的特長(zhǎng)
$ echo $var | sed -e 's/ /_/'    #s <= substitude
get_the length of me
$ echo $var | sed -e 's/ /_/g'    #看到?jīng)]有，簡(jiǎn)短兩個(gè)命令就實(shí)現(xiàn)了最小匹配和最大匹配g <= global
get_the_length_of_me

// 有忘記tr命令么？可以用替換單個(gè)字符的
$ echo $var | tr " " "_"
get_the_length_of_me
$ echo $var | tr '[a-z]' '[A-Z]'   #這個(gè)可有意思了，把所有小寫字母都替換為大寫字母
GET THE LENGTH OF ME

// 用{}
$ var="get the length of me"
$ echo ${var/ /_ }        #在指定字符串之前插入一個(gè)字符串
get_ the length of me
$ echo ${var// /_ }
get_ the_ length_ of_ me
$ echo ${var/ / _}        #在指定字符串之后插入一個(gè)字符串
get _the length of me
$ echo ${var// / _}
get _the _length _of _me

// 其他的還用演示么？這里主要介紹sed怎么用來插入字符吧，因?yàn)樗臉?biāo)簽功能很有趣
$ echo $var | sed -e 's/\( \)/_\1/' #\(和\)將不匹配到的字符串存放為一個(gè)標(biāo)簽，按匹配順序?yàn)閈1,\2...
get_ the length of me
$ echo $var | sed -e 's/\( \)/_\1/g'
get_ the_ length_ of_ me
$ echo $var | sed -e 's/\( \)/\1_/'
get _the length of me
$ echo $var | sed -e 's/\( \)/\1_/g'
get _the _length _of _me

// 看看sed的標(biāo)簽的順序是不是\1,\2....，看到?jīng)]？\2和\1掉換位置后，the和get的位置掉換了
$ echo $var | sed -e 's/\([a-z]*\) \([a-z]*\) /\2 \1 /g'
the get of length me
// sed還有專門的插入指令，a和i,分別表示在匹配的行后和行前插入指定字符
$ echo $var | sed '/get/a test'
get the length of me
test
$ echo $var | sed '/get/i test'
test
get the length of me

// 再用{}
$ echo ${var// /}
getthelengthofme
// 再用awk
$ echo $var | awk '{gsub(" ","",$0); printf("%s\n", $0);}'
// 再用sed
$ echo $var | sed 's/ //g'
getthelengthofme
// 還有更簡(jiǎn)單的tr命令，tr也可以把" "給刪除掉，看
$ echo $var | tr -d " "
getthelengthofme

$ var="get the length of me"
$ echo $var | tr ' ' '\n' | sort   #正序排
get
length
me
of
the
$ echo $var | tr ' ' '\n' | sort  -r #反序排
the
of
me
length
get
$ cat data.txt
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
41 45 44 44 26 44 42 20 20 38 37 25 45 45 45
16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
44 20 30 39 35 38 38 28 25 30 36 20 24 32 33
31 32 33 34 35 36 37 38 39 40 41 42 43 44 45
41 33 51 39 20 20 44 37 38 39 42 40 37 50 50
46 47 48 49 50 51 52 53 54 55 56
42 43 41 42 45 42 19 39 75 17 17
$ cat data.txt | sort -k 2 -n
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
44 20 30 39 35 38 38 28 25 30 36 20 24 32 33
31 32 33 34 35 36 37 38 39 40 41 42 43 44 45
41 33 51 39 20 20 44 37 38 39 42 40 37 50 50
42 43 41 42 45 42 19 39 75 17 17
41 45 44 44 26 44 42 20 20 38 37 25 45 45 45
46 47 48 49 50 51 52 53 54 55 56

$ echo "ibase=10;obase=16;10" | bc
A

$ nihao_gb2312=$(echo "你好" | iconv -f utf8 -t gb2312)
$ echo $nihao_gb2312
????
$ nihao_utf8=$(echo $nihao_gb2312 | iconv -f gb2312 -t utf8)
$ PS1="$ "
$ echo $nihao_utf8
你好

$ url="ftp://anonymous:ftp@mirror.lzu.edu.cn/software/scim-1.4.7.tar.gz"
// 匹配URL地址，判斷URL地址的有效性
$ echo $url | grep "ftp://[a-z]*:[a-z]*@[a-z\./-]*"
// 截取服務(wù)器類型
$ echo ${url%%:*}
ftp
$ echo $url | cut -d":" -f 1
ftp
// 截取域名
$ tmp=${url##*@} ; echo ${tmp%%/*}
mirror.lzu.edu.cn
// 截取路徑
$ tmp=${url##*@} ; echo ${tmp%/*}
mirror.lzu.edu.cn/software
// 截取文件名
$ basename $url
scim-1.4.7.tar.gz
$ echo ${url##*/}
scim-1.4.7.tar.gz
// 截取文件類型（擴(kuò)展名）
$ echo $url | sed -e 's/.*[0-9].\(.*\)/\1/g'
tar.gz

// 選取/etc/passwd文件中的用戶名和組ID兩列
$ cat /etc/passwd | cut -d":" -f1,4
// 選取/etc/group文件中的組名和組ID兩列
$ cat /etc/group | cut -d":" -f1,3
// 如果想找出所有用戶所在的組，怎么辦？
$ join -o 1.1,2.1 -t":" -1 4 -2 3 /etc/passwd /etc/group
root:root
bin:bin
daemon:daemon
adm:adm
lp:lp
pop:pop
nobody:nogroup
falcon:users
// 先解釋一下：join命令用來連接兩個(gè)文件，有點(diǎn)類似于數(shù)據(jù)庫的兩個(gè)表的連接。-t指定分割符，"-1 4 -2 3"指定按照第一個(gè)文件的第4列和第二個(gè)文件的第3列，即組ID進(jìn)行連接，"-o 1.1,2.1"表示僅僅輸出第一個(gè)文件的第一列和第二個(gè)文件的第一列，這樣就得到了我們要的結(jié)果，不過，可惜的是，這個(gè)結(jié)果并不準(zhǔn)確，再進(jìn)行下面的操作，你就會(huì)發(fā)現(xiàn)：
$ cat /etc/passwd | sort -t":" -n -k 4 > /tmp/passwd
$ cat /etc/group | sort -t":" -n -k 3 > /tmp/group
$ join -o 1.1,2.1 -t":" -1 4 -2 3 /tmp/passwd /tmp/group
halt:root
operator:root
root:root
shutdown:root
sync:root
bin:bin
daemon:daemon
adm:adm
lp:lp
pop:pop
nobody:nogroup
falcon:users
games:users
// 可以看到這個(gè)結(jié)果才是正確的，所以以后使用join千萬要注意這個(gè)問題，否則采取更保守的做法似乎更能保證正確性，更多關(guān)于文件連接的討論見參考資料[14]

$ IFS=":"; cat /etc/group | while read C1 C2 C3 C4; do echo $C1 $C3; done

$ cat /etc/passwd | cut -d":" -f1,3 --output-delimiter=" "
root 0
bin 1
daemon 2

$ cat a
root    bin     daemon 
0       1       2