腳本具有的特點是執行速度快,是解釋性語言
一、如何將命令輸出結果定義為變量:
sed工具----------var = $(echo $var | sed -n '1p' 4.txt) //讀取4.txt的第一行數據,并將輸出定義為var
awk--------------len=`echo ${Myline}|awk '{print match($0,"named")}'`,字符串Myline中出現named的位置
grep--------------VAR=`echo $TB_COUNT | grep "[0-9]"`
二。文件操作:
$ echo "The log files have all been done"> myfile:寫字符串到文件中,并覆蓋原有的內容
$ echo "The log files have all been done">> myfile:寫字符串到文件,注意是追加到文件末尾
val=$(cat named.conf),一次性讀文件內容到字符串var中,這個var會自動將文件中的多個空格轉換成一個空格
讀文件時,一次讀一行;但while循環里面的變量是一般傳不到循環外的,因為,while循環是一個子shell,
解決方法是通過重定向,例子如下:RPO和PROPATH都是循環外面定義的變量
cat 2.txt >/tmp/temp2.txt
while read Myline
do
ccc=`echo ${Myline}|awk '{print match($0,"Sl+")}'`
if [ $ccc -gt 0 ]
then
PRO=`echo ${temp}|awk '{print substr($0,"'$start'","'$n'")}'`
PROPATH=$PRO
break
fi
done</tmp/temp2.txt
rm /tmp/temp2.txt -f
三、其他:
set 查看所有變量(包括系統的、自定義的)
cut的橫向定位:
cut-c m-nfile 表示顯示每一行的第m個字元到第n個字元,如果有過個區域,用,隔開如: cut -c 3-9,12-20 file
cut -d: -f 1 /etc/passwd -d是分隔符,默認的是TAB,也定義其他的:如cut -d'|' 1.test用|做分隔符,可以用“”;
f1表示每一行的第一個字段(和awk的域概念類似),f2-5,每一行的2-5個字段
cut的縱向定位
cut -b list [-n] [file ...] cut -c list [file ...] cut -f list [-d delim][-s][file ...]
上面的-b、-c、-f分別表示字節、字符、字段(即byte、character、field);list表示-b、-c、-f操作范圍,-n常常表示具體數字;
file表示的自然是要操作的文本文件的名稱;delim(英文全寫:delimiter)表示分隔符,默認情況下為TAB;
-s表示不包括那些不含分隔符的行(這樣有利于去掉注釋和標題)
范圍的表示方法:N 只有第N項 N- 從第N項一直到行尾 N-M 從第N項到第M項(包括M)
-M 從一行的開始到第M項(包括M) - 從一行的開始到結束的所有項
cat >file 1&2來完成。這個命令的含義就是將標準輸出流(參數1表示)與錯誤輸出流(參數2表示)的輸出合并在一起,然后通過重定向符號保存在管理員指定的文件中。也可以寫成cat>&file,這樣不會在屏幕上輸出任何信息,這兩個例子適合所有的重定向文件。
將文件的所有大寫字母轉小寫:sed -i 's/[^ ]*/\L&/' urfile,如果要轉小寫,將L換成U就可以了.
統計字符串中某個字符出現的次數的方法
echo "abcdabc1234abc" | awk -F'a' '{print NF-1}'
echo abcdabc1234abc | grep -o 'a' | wc -l
echo "abcdaaaaaaaaabc1234abc" | awk '{print gsub("a","a")}'
四、判斷文件是否存在和變量是否相等
-x 參數判斷$myPath是否存在并且是否具有可執行權限
if [[ ! -x "$myPath "]]
then
mkdir "$myPath"
fi
-d 參數判斷$myPath是否存在
if [[ ! -d "$myPath" ]]
then
mkdir "$myPath"
fi
-f參數判斷$myFile是否存在
if [[ ! -f "$myFile" ]]
then
touch "$myFile"
fi
-n是判斷一個變量是否是否有值
if [[ ! -n "$myVar" ]]
then
echo "$myVar is empty"
exit 0
fi
判斷兩個變量是否相等,下面的=也可換成==,去掉雙引號也是可以的,比較靈活
if [[ "$var1" = "$var2" ]]
then
echo '$var1 eq $var2'
else
echo '$var1 not eq $var2'
fi
-f 和-e的區別
Conditional Logic on Files
五、如何編寫一個子函數
不用聲明,只是在腳本的開始部分定義即可;可以返回值,但必須是數值,不能是字符串;
也可以向函數傳參,在函數中用$1,$2來表示第一個和第二個參數,以此類推。
下面的例子是個合并文件的函數
fun_Merge()
{
if [[ -d "$1" ]]
then
cat $1>>$2
fi
}
調用方法:fun_Merge include.txt $filename
$@ 獲取所有參數,$#獲取所有參數個數,當然函數也可以有自己的本地變量
六、其他:
將文件中的{替換為 {-----sed -i "s/{/ {/g" $filename
sh your.sh-------------------檢查your.sh是否有語法錯誤
export PS4='+{$LINENO:${FUNCNAME[0]}} ';sh -x your.sh---調試shell腳本,可打印出每行執行結果和函數;$LINENO
代表shell腳本的當前行號,類似于C語言中的內置宏__LINE__ ;$FUNCNAME是一個數組變量,其中包含了整個調用鏈上所有的函數的名字,故變量${FUNCNAME[0]}代表shell腳本當前正在執行的函數的名字,而變量${FUNCNAME[1]}則代表調用函數${FUNCNAME[0]}的函數的名字,余者可以依此類推。 $PS4的值是"+"號。
檢查磁盤空間:df -h
查看目錄的大小使用:du du /* 根目錄下的所有文件夾
查看分區情況:fdisk –l /dev/sda
查看語言配置:locale
查看系統服務的狀態:chkconfig --list
查看文件:cat(常用)、more、less(適合大文件);nl查看文件,同時顯示行號;head和tail命令查看文件的前幾行(-n)
查找:find(基本查找)、which(通過環境變量來查找可執行文件)、whereis(快速查找二進制可執行文件,并顯示源碼和手冊位置)
硬盤裝載(掛載):mount,常用的格式mount –t type dev dir,如mount -t iso9660 /dev/cdrom /media/cdrom 掛載光驅;卸載:umoun
基本格式如:umount dir device ; eject將彈出和收回;fdisk列出所有設備
七、SED介紹:
sed是一種在線編輯器,它一次處理一行內容。處理時,把當前處理的行存儲在臨時緩沖區中,稱為“模式空間”(pattern space),接著用sed命令處理緩沖區中的內容,處理完成后,把緩沖區的內容送往屏幕。接著處理下一行,這樣不斷重復,直到文件末尾。文件內容并沒有 改變,除非你使用重定向存儲輸出。Sed主要用來自動編輯一個或多個文件;簡化對文件的反復操作;編寫轉換程序等
方法1:
sed -i 's/被替換的內容/要替換成的內容/' file
方法2:
sed 's/被替換的內容/要替換成的內容/g' file > file.out
mv file.out file
這里注意:
不能這樣做:
sed 's/被替換的內容/要替換成的內容/g' file > file
這樣只會清空源文件。
2. 定址
可以通過定址來定位你所希望編輯的行,該地址用數字構成,用逗號分隔的兩個行數表示以這兩行為起止的行的范圍(包括行數表示的那兩行)。如1,3表示1,2,3行,美元符號($)表示最后一行。范圍可以通過數據,正則表達式或者二者結合的方式確定 。
3. Sed命令
調用sed命令有兩種形式:
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)
<
a\
在當前行后面加入一行文本。
b lable
分支到腳本中帶有標記的地方,如果分支不存在則分支到腳本的末尾。
c\
用新的文本改變本行的文本。
d
從模板塊(Pattern space)位置刪除行。
D
刪除模板塊的第一行。
i\
在當前行上面插入文本。
h
拷貝模板塊的內容到內存中的緩沖區。
H
追加模板塊的內容到內存中的緩沖區
g
獲得內存緩沖區的內容,并替代當前模板塊中的文本。
G
獲得內存緩沖區的內容,并追加到當前模板塊文本的后面。
l
列表不能打印字符的清單。
n
讀取下一個輸入行,用下一個命令處理新的行而不是用第一個命令。
N
追加下一個輸入行到模板塊后面并在二者間嵌入一個新行,改變當前行號碼。
p
打印模板塊的行。
P(大寫)
打印模板塊的第一行。
q
退出Sed。
r file
從file中讀行。
t label
if分支,從最后一行開始,條件一旦滿足或者T,t命令,將導致分支到帶有標號的命令處,或者到腳本的末尾。
T label
錯誤分支,從最后一行開始,一旦發生錯誤或者T,t命令,將導致分支到帶有標號的命令處,或者到腳本的末尾。
w file
寫并追加模板塊到file末尾。
W file
寫并追加模板塊的第一行到file末尾。
!
表示后面的命令對所有沒有被選定的行發生作用。
s/re/string
用string替換正則表達式re。
=
打印當前行號碼。
#
把注釋擴展到下一個換行符以前。
以下的是替換標記
g表示行內全面替換。
p表示打印行。
w表示把行寫入一個文件。
x表示互換模板塊中的文本和緩沖區中的文本。
y表示把一個字符翻譯為另外的字符(但是不用于正則表達式)
4. 選項
<
-e command, --expression=command
允許多臺編輯。
-h, --help
打印幫助,并顯示bug列表的地址。
-n, --quiet, --silent
取消默認輸出。
-f, --filer=script-file
引導sed腳本文件名。
-V, --version
打印版本和版權信息。
5. 元字符集
<
^
錨定行的開始 如:/^sed/匹配所有以sed開頭的行。
$
錨定行的結束 如:/sed$/匹配所有以sed結尾的行。
.
匹配一個非換行符的字符 如:/s.d/匹配s后接一個任意字符,然后是d。
*
匹配零或多個字符 如:/*sed/匹配所有模板是一個或多個空格后緊跟sed的行。
[]
匹配一個指定范圍內的字符,如/[Ss]ed/匹配sed和Sed。
[^]
匹配一個不在指定范圍內的字符,如:/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一個字母開頭,緊跟ed的行。
\(..\)
保存匹配的字符,如s/\(love\)able/\1rs,loveable被替換成lovers。
&
保存搜索字符用來替換其他字符,如s/love/**&**/,love這成**love**。
\<
錨定單詞的開始,如:/\
\>
錨定單詞的結束,如/love\>/匹配包含以love結尾的單詞的行。
x\{m\}
重復字符x,m次,如:/0\{5\}/匹配包含5個o的行。
x\{m,\}
重復字符x,至少m次,如:/o\{5,\}/匹配至少有5個o的行。
x\{m,n\}
重復字符x,至少m次,不多于n次,如:/o\{5,10\}/匹配5--10個o的行。
6. 實例
刪除:d命令
$ sed '2d' example-----刪除example文件的第二行。
$ sed '2,$d' example-----刪除example文件的第二行到末尾所有行。
$ sed '$d' example-----刪除example文件的最后一行。
$ sed '/test/'d example-----刪除example文件所有包含test的行。
替換:s命令
$ sed 's/test/mytest/g' example-----在整行范圍內把test替換為mytest。如果沒有g標記,則只有每行第一個匹配的test被替換成mytest。
$ sed -n 's/^test/mytest/p' example-----(-n)選項和p標志一起使用表示只打印那些發生替換的行。也就是說,如果某一行開頭的test被替換成mytest,就打印它。
$ sed 's/^192.168.0.1/&localhost/' example-----&符號表示替換換字符串中被找到的部份。所有以192.168.0.1開頭的行都會被替換成它自已加 localhost,變成192.168.0.1localhost。
$ sed -n 's/\(love\)able/\1rs/p' example-----love被標記為1,所有loveable會被替換成lovers,而且替換的行會被打印出來。
$ sed 's#10#100#g' example-----不論什么字符,緊跟著s命令的都被認為是新的分隔符,所以,“#”在這里是分隔符,代替了默認的“/”分隔符。表示把所有10替換成100。
選定行的范圍:逗號
$ sed -n '/test/,/check/p' example-----所有在模板test和check所確定的范圍內的行都被打印。
$ sed -n '5,/^test/p' example-----打印從第五行開始到第一個包含以test開始的行之間的所有行。
$ sed '/test/,/check/s/$/sed test/' example-----對于模板test和west之間的行,每行的末尾用字符串sed test替換。
多點編輯:e命令
$ sed -e '1,5d' -e 's/test/check/' example-----(-e)選項允許在同一行里執行多條命令。如例子所示,第一條命令刪除1至5行,第二條命令用check替換test。命令的執 行順序對結果有影響。如果兩個命令都是替換命令,那么第一個替換命令將影響第二個替換命令的結果。
$ sed --expression='s/test/check/' --expression='/love/d' example-----一個比-e更好的命令是--expression。它能給sed表達式賦值。
從文件讀入:r命令
$ sed '/test/r file' example-----file里的內容被讀進來,顯示在與test匹配的行后面,如果匹配多行,則file的內容將顯示在所有匹配行的下面。
寫入文件:w命令
$ sed -n '/test/w file' example-----在example中所有包含test的行都被寫入file里。
追加命令:a命令
$ sed '/^test/a\\--->this is a example' example<-----'this is a example'被追加到以test開頭的行后面,sed要求命令a后面有一個反斜杠。
插入:i命令
$ sed '/test/i\\
new line
-------------------------' example
如果test被匹配,則把反斜杠后面的文本插入到匹配行的前面。
下一個:n命令
$ sed '/test/{ n; s/aa/bb/; }' example-----如果test被匹配,則移動到匹配行的下一行,替換這一行的aa,變為bb,并打印該行,然后繼續。
變形:y命令
$ sed '1,10y/abcde/ABCDE/' example-----把1--10行內所有abcde轉變為大寫,注意,正則表達式元字符不能使用這個命令。
退出:q命令
$ sed '10q' example-----打印完第10行后,退出sed。
保持和獲?。篽命令和G命令
$ sed -e '/test/h' -e '$G example-----在sed處理文件的時候,每一行都被保存在一個叫模式空間的臨時緩沖區中,除非行被刪除或者輸出被取消,否則所有被處理的行都將 打印在屏幕上。接著模式空間被清空,并存入新的一行等待處理。在這個例子里,匹配test的行被找到后,將存入模式空間,h命令將其復制并存入一個稱為保 持緩存區的特殊緩沖區內。第二條語句的意思是,當到達最后一行后,G命令取出保持緩沖區的行,然后把它放回模式空間中,且追加到現在已經存在于模式空間中 的行的末尾。在這個例子中就是追加到最后一行。簡單來說,任何包含test的行都被復制并追加到該文件的末尾。
保持和互換:h命令和x命令
$ sed -e '/test/h' -e '/check/x' example -----互換模式空間和保持緩沖區的內容。也就是把包含test與check的行互換。
7. 腳本
Sed腳本是一個sed的命令清單,啟動Sed時以-f選項引導腳本文件名。Sed對于腳本中輸入的命令非常挑剔,在命令的末尾不能有任何空白或文本,如果在一行中有多個命令,要用分號分隔。以#開頭的行為注釋行,且不能跨行。
比如,如果要打印出含有字串”1024”的行,可用:cat filename | sed –n ‘/1024/p’sed
八、SED常用單行操作:
文本間隔:
--------
# 在每一行后面增加一空行
sed G
# 將原來的所有空行刪除并在每一行后面增加一空行。
# 這樣在輸出的文本中每一行后面將有且只有一空行。
sed '/^$/d;G'
# 在每一行后面增加兩行空行
sed 'G;G'
# 將第一個腳本所產生的所有空行刪除(即刪除所有偶數行)
sed 'n;d'
# 在匹配式樣“regex”的行之前插入一空行
sed '/regex/{x;p;x;}'
# 在匹配式樣“regex”的行之后插入一空行
sed '/regex/G'
# 在匹配式樣“regex”的行之前和之后各插入一空行
sed '/regex/{x;p;x;G;}'
編號:
--------
# 為文件中的每一行進行編號(簡單的左對齊方式)。這里使用了“制表符”
# (tab,見本文末尾關于'\t'的用法的描述)而不是空格來對齊邊緣。
sed = filename | sed 'N;s/\n/\t/'
# 對文件中的所有行編號(行號在左,文字右端對齊)。
sed = filename | sed 'N; s/^/ /; s/ *\(.\{6,\}\)\n/\1 /'
# 對文件中的所有行編號,但只顯示非空白行的行號。
sed '/./=' filename | sed '/./N; s/\n/ /'
# 計算行數 (模擬 "wc -l")
sed -n '$='
文本轉換和替代:
--------
# Unix環境:轉換DOS的新行符(CR/LF)為Unix格式。
sed 's/.$//' # 假設所有行以CR/LF結束
sed 's/^M$//' # 在bash/tcsh中,將按Ctrl-M改為按Ctrl-V
sed 's/\x0D$//' # ssed、gsed 3.02.80,及更高版本
# Unix環境:轉換Unix的新行符(LF)為DOS格式。
sed "s/$/`echo -e \\\r`/" # 在ksh下所使用的命令
sed 's/$'"/`echo \\\r`/" # 在bash下所使用的命令
sed "s/$/`echo \\\r`/" # 在zsh下所使用的命令
sed 's/$/\r/' # gsed 3.02.80 及更高版本
# DOS環境:轉換Unix新行符(LF)為DOS格式。
sed "s/$//" # 方法 1
sed -n p # 方法 2
# DOS環境:轉換DOS新行符(CR/LF)為Unix格式。
# 下面的腳本只對UnxUtils sed 4.0.7 及更高版本有效。要識別UnxUtils版本的
# sed可以通過其特有的“--text”選項。你可以使用幫助選項(“--help”)看
# 其中有無一個“--text”項以此來判斷所使用的是否是UnxUtils版本。其它DOS
# 版本的的sed則無法進行這一轉換。但可以用“tr”來實現這一轉換。
sed "s/\r//" infile >outfile # UnxUtils sed v4.0.7 或更高版本
tr -d \r <infile >outfile # GNU tr 1.22 或更高版本
# 將每一行前導的“空白字符”(空格,制表符)刪除
# 使之左對齊
sed 's/^[ \t]*//' # 見本文末尾關于'\t'用法的描述
# 將每一行拖尾的“空白字符”(空格,制表符)刪除
sed 's/[ \t]*$//' # 見本文末尾關于'\t'用法的描述
# 將每一行中的前導和拖尾的空白字符刪除
sed 's/^[ \t]*//;s/[ \t]*$//'
# 在每一行開頭處插入5個空格(使全文向右移動5個字符的位置)
sed 's/^/ /'
# 以79個字符為寬度,將所有文本右對齊
sed -e :a -e 's/^.\{1,78\}$/ &/;ta' # 78個字符外加最后的一個空格
# 以79個字符為寬度,使所有文本居中。在方法1中,為了讓文本居中每一行的前
# 頭和后頭都填充了空格。 在方法2中,在居中文本的過程中只在文本的前面填充
# 空格,并且最終這些空格將有一半會被刪除。此外每一行的后頭并未填充空格。
sed -e :a -e 's/^.\{1,77\}$/ & /;ta' # 方法1
sed -e :a -e 's/^.\{1,77\}$/ &/;ta' -e 's/\( *\)\1/\1/' # 方法2
# 在每一行中查找字串“foo”,并將找到的“foo”替換為“bar”
sed 's/foo/bar/' # 只替換每一行中的第一個“foo”字串
sed 's/foo/bar/4' # 只替換每一行中的第四個“foo”字串
sed 's/foo/bar/g' # 將每一行中的所有“foo”都換成“bar”
sed 's/\(.*\)foo\(.*foo\)/\1bar\2/' # 替換倒數第二個“foo”
sed 's/\(.*\)foo/\1bar/' # 替換最后一個“foo”
# 只在行中出現字串“baz”的情況下將“foo”替換成“bar”
sed '/baz/s/foo/bar/g'
# 將“foo”替換成“bar”,并且只在行中未出現字串“baz”的情況下替換
sed '/baz/!s/foo/bar/g'
# 不管是“scarlet”“ruby”還是“puce”,一律換成“red”
sed 's/scarlet/red/g;s/ruby/red/g;s/puce/red/g' #對多數的sed都有效
gsed 's/scarlet\|ruby\|puce/red/g' # 只對GNU sed有效
# 倒置所有行,第一行成為最后一行,依次類推(模擬“tac”)。
# 由于某些原因,使用下面命令時HHsed v1.5會將文件中的空行刪除
sed '1!G;h;$!d' # 方法1
sed -n '1!G;h;$p' # 方法2
# 將行中的字符逆序排列,第一個字成為最后一字,……(模擬“rev”)
sed '/\n/!G;s/\(.\)\(.*\n\)/&\2\1/;//D;s/.//'
# 將每兩行連接成一行(類似“paste”)
sed '$!N;s/\n/ /'
# 如果當前行以反斜杠“\”結束,則將下一行并到當前行末尾
# 并去掉原來行尾的反斜杠
sed -e :a -e '/\\$/N; s/\\\n//; ta'
# 如果當前行以等號開頭,將當前行并到上一行末尾
# 并以單個空格代替原來行頭的“=”
sed -e :a -e '$!N;s/\n=/ /;ta' -e 'P;D'
# 為數字字串增加逗號分隔符號,將“1234567”改為“1,234,567”
gsed ':a;s/\B[0-9]\{3\}\>/,&/;ta' # GNU sed
sed -e :a -e 's/\(.*[0-9]\)\([0-9]\{3\}\)/\1,\2/;ta' # 其他sed
# 為帶有小數點和負號的數值增加逗號分隔符(GNU sed)
gsed -r ':a;s/(^|[^0-9.])([0-9]+)([0-9]{3})/\1\2,\3/g;ta'
# 在每5行后增加一空白行 (在第5,10,15,20,等行后增加一空白行)
gsed '0~5G' # 只對GNU sed有效
sed 'n;n;n;n;G;' # 其他sed
選擇性地顯示特定行:
--------
# 顯示文件中的前10行 (模擬“head”的行為)
sed 10q
# 顯示文件中的第一行 (模擬“head -1”命令)
sed q
# 顯示文件中的最后10行 (模擬“tail”)
sed -e :a -e '$q;N;11,$D;ba'
# 顯示文件中的最后2行(模擬“tail -2”命令)
sed '$!N;$!D'
# 顯示文件中的最后一行(模擬“tail -1”)
sed '$!d' # 方法1
sed -n '$p' # 方法2
# 顯示文件中的倒數第二行
sed -e '$!{h;d;}' -e x # 當文件中只有一行時,輸入空行
sed -e '1{$q;}' -e '$!{h;d;}' -e x # 當文件中只有一行時,顯示該行
sed -e '1{$d;}' -e '$!{h;d;}' -e x # 當文件中只有一行時,不輸出
# 只顯示匹配正則表達式的行(模擬“grep”)
sed -n '/regexp/p' # 方法1
sed '/regexp/!d' # 方法2
# 只顯示“不”匹配正則表達式的行(模擬“grep -v”)
sed -n '/regexp/!p' # 方法1,與前面的命令相對應
sed '/regexp/d' # 方法2,類似的語法
# 查找“regexp”并將匹配行的上一行顯示出來,但并不顯示匹配行
sed -n '/regexp/{g;1!p;};h'
# 查找“regexp”并將匹配行的下一行顯示出來,但并不顯示匹配行
sed -n '/regexp/{n;p;}'
# 顯示包含“regexp”的行及其前后行,并在第一行之前加上“regexp”所
# 在行的行號 (類似“grep -A1 -B1”)
sed -n -e '/regexp/{=;x;1!p;g;$!N;p;D;}' -e h
# 顯示包含“AAA”、“BBB”或“CCC”的行(任意次序)
sed '/AAA/!d; /BBB/!d; /CCC/!d' # 字串的次序不影響結果
# 顯示包含“AAA”、“BBB”和“CCC”的行(固定次序)
sed '/AAA.*BBB.*CCC/!d'
# 顯示包含“AAA”“BBB”或“CCC”的行 (模擬“egrep”)
sed -e '/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d # 多數sed
gsed '/AAA\|BBB\|CCC/!d' # 對GNU sed有效
# 顯示包含“AAA”的段落 (段落間以空行分隔)
# HHsed v1.5 必須在“x;”后加入“G;”,接下來的3個腳本都是這樣
sed -e '/./{H;$!d;}' -e 'x;/AAA/!d;'
# 顯示包含“AAA”“BBB”和“CCC”三個字串的段落 (任意次序)
sed -e '/./{H;$!d;}' -e 'x;/AAA/!d;/BBB/!d;/CCC/!d'
# 顯示包含“AAA”、“BBB”、“CCC”三者中任一字串的段落 (任意次序)
sed -e '/./{H;$!d;}' -e 'x;/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d
gsed '/./{H;$!d;};x;/AAA\|BBB\|CCC/b;d' # 只對GNU sed有效
# 顯示包含65個或以上字符的行
sed -n '/^.\{65\}/p'
# 顯示包含65個以下字符的行
sed -n '/^.\{65\}/!p' # 方法1,與上面的腳本相對應
sed '/^.\{65\}/d' # 方法2,更簡便一點的方法
# 顯示部分文本——從包含正則表達式的行開始到最后一行結束
sed -n '/regexp/,$p'
# 顯示部分文本——指定行號范圍(從第8至第12行,含8和12行)
sed -n '8,12p' # 方法1
sed '8,12!d' # 方法2
# 顯示第52行
sed -n '52p' # 方法1
sed '52!d' # 方法2
sed '52q;d' # 方法3, 處理大文件時更有效率
# 從第3行開始,每7行顯示一次
gsed -n '3~7p' # 只對GNU sed有效
sed -n '3,${p;n;n;n;n;n;n;}' # 其他sed
# 顯示兩個正則表達式之間的文本(包含)
sed -n '/Iowa/,/Montana/p' # 區分大小寫方式
選擇性地刪除特定行:
--------
# 顯示通篇文檔,除了兩個正則表達式之間的內容
sed '/Iowa/,/Montana/d'
# 刪除文件中相鄰的重復行(模擬“uniq”)
# 只保留重復行中的第一行,其他行刪除
sed '$!N; /^\(.*\)\n\1$/!P; D'
# 刪除文件中的重復行,不管有無相鄰。注意hold space所能支持的緩存
# 大小,或者使用GNU sed。
sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P'
# 刪除除重復行外的所有行(模擬“uniq -d”)
sed '$!N; s/^\(.*\)\n\1$/\1/; t; D'
# 刪除文件中開頭的10行
sed '1,10d'
# 刪除文件中的最后一行
sed '$d'
# 刪除文件中的最后兩行
sed 'N;$!P;$!D;$d'
# 刪除文件中的最后10行
sed -e :a -e '$d;N;2,10ba' -e 'P;D' # 方法1
sed -n -e :a -e '1,10!{P;N;D;};N;ba' # 方法2
# 刪除8的倍數行
gsed '0~8d' # 只對GNU sed有效
sed 'n;n;n;n;n;n;n;d;' # 其他sed
# 刪除匹配式樣的行
sed '/pattern/d' # 刪除含pattern的行。當然pattern
# 可以換成任何有效的正則表達式
# 刪除文件中的所有空行(與“grep '.' ”效果相同)
sed '/^$/d' # 方法1
sed '/./!d' # 方法2
# 只保留多個相鄰空行的第一行。并且刪除文件頂部和尾部的空行。
# (模擬“cat -s”)
sed '/./,/^$/!d' #方法1,刪除文件頂部的空行,允許尾部保留一空行
sed '/^$/N;/\n$/D' #方法2,允許頂部保留一空行,尾部不留空行
# 只保留多個相鄰空行的前兩行。
sed '/^$/N;/\n$/N;//D'
# 刪除文件頂部的所有空行
sed '/./,$!d'
# 刪除文件尾部的所有空行
sed -e :a -e '/^\n*$/{$d;N;ba' -e '}' # 對所有sed有效
sed -e :a -e '/^\n*$/N;/\n$/ba' # 同上,但只對 gsed 3.02.*有效
# 刪除每個段落的最后一行
sed -n '/^$/{p;h;};/./{x;/./p;}'
特殊應用:
--------
# 移除手冊頁(man page)中的nroff標記。在Unix System V或bash shell下使
# 用'echo'命令時可能需要加上 -e 選項。
sed "s/.`echo \\\b`//g" # 外層的雙括號是必須的(Unix環境)
sed 's/.^H//g' # 在bash或tcsh中, 按 Ctrl-V 再按 Ctrl-H
sed 's/.\x08//g' # sed 1.5,GNU sed,ssed所使用的十六進制的表示方法
# 提取新聞組或 e-mail 的郵件頭
sed '/^$/q' # 刪除第一行空行后的所有內容
# 提取新聞組或 e-mail 的正文部分
sed '1,/^$/d' # 刪除第一行空行之前的所有內容
# 從郵件頭提取“Subject”(標題欄字段),并移除開頭的“Subject:”字樣
sed '/^Subject: */!d; s///;q'
# 從郵件頭獲得回復地址
sed '/^Reply-To:/q; /^From:/h; /./d;g;q'
# 獲取郵件地址。在上一個腳本所產生的那一行郵件頭的基礎上進一步的將非電郵
# 地址的部分剃除。(見上一腳本)
sed 's/ *(.*)//; s/>.*//; s/.*[:<] *//'
# 在每一行開頭加上一個尖括號和空格(引用信息)
sed 's/^/> /'
# 將每一行開頭處的尖括號和空格刪除(解除引用)
sed 's/^> //'
# 移除大部分的HTML標簽(包括跨行標簽)
sed -e :a -e 's/<[^>]*>//g;/</N;//ba'
# 將分成多卷的uuencode文件解碼。移除文件頭信息,只保留uuencode編碼部分。
# 文件必須以特定順序傳給sed。下面第一種版本的腳本可以直接在命令行下輸入;
# 第二種版本則可以放入一個帶執行權限的shell腳本中。(由Rahul Dhesi的一
# 個腳本修改而來。)
sed '/^end/,/^begin/d' file1 file2 ... fileX | uudecode # vers. 1
sed '/^end/,/^begin/d' "$@" | uudecode # vers. 2
# 將文件中的段落以字母順序排序。段落間以(一行或多行)空行分隔。GNU sed使用
# 字元“\v”來表示垂直制表符,這里用它來作為換行符的占位符——當然你也可以
# 用其他未在文件中使用的字符來代替它。
sed '/./{H;d;};x;s/\n/={NL}=/g' file | sort | sed '1s/={NL}=//;s/={NL}=/\n/g'
gsed '/./{H;d};x;y/\n/\v/' file | sort | sed '1s/\v//;y/\v/\n/'
# 分別壓縮每個.TXT文件,壓縮后刪除原來的文件并將壓縮后的.ZIP文件
# 命名為與原來相同的名字(只是擴展名不同)。(DOS環境:“dir /b”
# 顯示不帶路徑的文件名)。
echo @echo off >zipup.bat
dir /b *.txt | sed "s/^\(.*\)\.TXT/pkzip -mo \1 \1.TXT/" >>zipup.bat
使用SED:Sed接受一個或多個編輯命令,并且每讀入一行后就依次應用這些命令。
當讀入第一行輸入后,sed對其應用所有的命令,然后將結果輸出。接著再讀入第二
行輸入,對其應用所有的命令……并重復這個過程。上一個例子中sed由標準輸入設
備(即命令解釋器,通常是以管道輸入的形式)獲得輸入。在命令行給出一個或多
個文件名作為參數時,這些文件取代標準輸入設備成為sed的輸入。sed的輸出將被
送到標準輸出(顯示器)。因此:
cat filename | sed '10q' # 使用管道輸入
sed '10q' filename # 同樣效果,但不使用管道輸入
sed '10q' filename > newfile # 將輸出轉移(重定向)到磁盤上
要了解sed命令的使用說明,包括如何通過腳本文件(而非從命令行)來使用這些命
令,請參閱《sed & awk》第二版,作者Dale Dougherty和Arnold Robbins
(O'Reilly,1997;http://www.ora.com),《UNIX Text Processing》,作者
Dale Dougherty和Tim O'Reilly(Hayden Books,1987)或者是Mike Arst寫的教
程——壓縮包的名稱是“U-SEDIT2.ZIP”(在許多站點上都找得到)。要發掘sed
的潛力,則必須對“正則表達式”有足夠的理解。正則表達式的資料可以看
《Mastering Regular Expressions》作者Jeffrey Friedl(O'reilly 1997)。
Unix系統所提供的手冊頁(“man”)也會有所幫助(試一下這些命令
“man sed”、“man regexp”,或者看“man ed”中關于正則表達式的部分),但
手冊提供的信息比較“抽象”——這也是它一直為人所詬病的。不過,它本來就不
是用來教初學者如何使用sed或正則表達式的教材,而只是為那些熟悉這些工具的人
提供的一些文本參考。
括號語法:前面的例子對sed命令基本上都使用單引號('...')而非雙引號
("...")這是因為sed通常是在Unix平臺上使用。單引號下,Unix的shell(命令
解釋器)不會對美元符($)和后引號(`...`)進行解釋和執行。而在雙引號下
美元符會被展開為變量或參數的值,后引號中的命令被執行并以輸出的結果代替
后引號中的內容。而在“csh”及其衍生的shell中使用感嘆號(!)時需要在其前
面加上轉義用的反斜杠(就像這樣:\!)以保證上面所使用的例子能正常運行
(包括使用單引號的情況下)。DOS版本的Sed則一律使用雙引號("...")而不是
引號來圈起命令。
'\t'的用法:為了使本文保持行文簡潔,我們在腳本中使用'\t'來表示一個制表
符。但是現在大部分版本的sed還不能識別'\t'的簡寫方式,因此當在命令行中為
腳本輸入制表符時,你應該直接按TAB鍵來輸入制表符而不是輸入'\t'。下列的工
具軟件都支持'\t'做為一個正則表達式的字元來表示制表符:awk、perl、HHsed、
sedmod以及GNU sed v3.02.80。
不同版本的SED:不同的版本間的sed會有些不同之處,可以想象它們之間在語法上
會有差異。具體而言,它們中大部分不支持在編輯命令中間使用標簽(:name)或分
支命令(b,t),除非是放在那些的末尾。這篇文檔中我們盡量選用了可移植性較高
的語法,以使大多數版本的sed的用戶都能使用這些腳本。不過GNU版本的sed允許使
用更簡潔的語法。想像一下當讀者看到一個很長的命令時的心情:
sed -e '/AAA/b' -e '/BBB/b' -e '/CCC/b' -e d
好消息是GNU sed能讓命令更緊湊:
sed '/AAA/b;/BBB/b;/CCC/b;d' # 甚至可以寫成
sed '/AAA\|BBB\|CCC/b;d'
此外,請注意雖然許多版本的sed接受象“/one/ s/RE1/RE2/”這種在's'前帶有空
格的命令,但這些版本中有些卻不接受這樣的命令:“/one/! s/RE1/RE2/”。這時
只需要把中間的空格去掉就行了。
速度優化:當由于某種原因(比如輸入文件較大、處理器或硬盤較慢等)需要提高
命令執行速度時,可以考慮在替換命令(“s/.../.../”)前面加上地址表達式來
提高速度。舉例來說:
sed 's/foo/bar/g' filename # 標準替換命令
sed '/foo/ s/foo/bar/g' filename # 速度更快
sed '/foo/ s//bar/g' filename # 簡寫形式
當只需要顯示文件的前面的部分或需要刪除后面的內容時,可以在腳本中使用“q”
命令(退出命令)。在處理大的文件時,這會節省大量時間。因此:
sed -n '45,50p' filename # 顯示第45到50行
sed -n '51q;45,50p' filename # 一樣,但快得多
如果你有其他的單行腳本想與大家分享或者你發現了本文檔中錯誤的地方,請發電
子郵件給本文檔的作者(Eric Pement)。郵件中請記得提供你所使用的sed版本、
該sed所運行的操作系統及對問題的適當描述。本文所指的單行腳本指命令行的長
度在65個字符或65個以下的sed腳本〔譯注1〕。本文檔的各種腳本是由以下所列作
者所寫或提供:
Al Aab # 建立了“seders”郵件列表
Edgar Allen # 許多方面
Yiorgos Adamopoulos # 許多方面
Dale Dougherty # 《sed & awk》作者
Carlos Duarte # 《do it with sed》作者
Eric Pement # 本文檔的作者
Ken Pizzini # GNU sed v3.02 的作者
S.G. Ravenhall # 去html標簽腳本
Greg Ubben # 有諸多貢獻并提供了許多幫助
-------------------------------------------------------------------------
譯注1:大部分情況下,sed腳本無論多長都能寫成單行的形式(通過`-e'選項和`;'
號)——只要命令解釋器支持,所以這里說的單行腳本除了能寫成一行還對長度有
所限制。因為這些單行腳本的意義不在于它們是以單行的形式出現。而是讓用戶能
方便地在命令行中使用這些緊湊的腳本才是其意義所在。