重復(fù)行通常不會(huì)造成問(wèn)題，但是有時(shí)候它們的確會(huì)引起問(wèn)題。
此時(shí)，不必花上一個(gè)下午的時(shí)間來(lái)為它們編制過(guò)濾器，uniq 命令便是唾手可得的好工具。了解一下它是如何節(jié)省您的時(shí)間和精力的。
進(jìn)行排序之后，您會(huì)發(fā)現(xiàn)有些行是重復(fù)的。有時(shí)候該重復(fù)信息是不需要的，可以將它除去以節(jié)省磁盤(pán)空間。
不必對(duì)文本行進(jìn)行排序，但是您應(yīng)當(dāng)記住 uniq 在讀取行時(shí)會(huì)對(duì)它們進(jìn)行比較并將只除去兩個(gè)或更多的連續(xù)行。
下面的示例說(shuō)明了它實(shí)際上是如何工作的：
清單 1. 用 uniq 除去重復(fù)行
$ cat happybirthday.txt
Happy Birthday to You!
Happy Birthday to You!
Happy Birthday Dear Tux!
Happy Birthday to You!
$ sort happybirthday.txt
Happy Birthday Dear Tux!
Happy Birthday to You!
Happy Birthday to You!
Happy Birthday to You!
$ sort happybirthday.txt | uniq
Happy Birthday Dear Tux!
Happy Birthday to You!
警告：請(qǐng)不要使用
uniq 或任何其它工具從包含財(cái)務(wù)或其它重要數(shù)據(jù)的文件中除去重復(fù)行。
在這種情況下，重復(fù)行幾乎總是表示同一金額的另一個(gè)交易，將它除去會(huì)給會(huì)計(jì)部造成許多困難。千萬(wàn)別這么干！
如果您希望您的工作輕松點(diǎn)，比如只顯示唯一的或重復(fù)的行，那么該怎么辦呢？您可以用 -u （唯一）和 -d （重復(fù)）選項(xiàng)來(lái)做到這一點(diǎn)，例如：
清單 2. 使用 -u 和 -d 選項(xiàng)
$ sort happybirthday.txt | uniq -u
Happy Birthday Dear Tux!
$ sort happybirthday.txt | uniq -d
Happy Birthday to You!
清單 3. 使用 -c 選項(xiàng)
$ sort happybirthday.txt | uniq -uc
1 Happy Birthday Dear Tux!
$ sort happybirthday.txt | uniq -dc
3 Happy Birthday to You!
就算 uniq 對(duì)完整的行進(jìn)行比較，它仍然會(huì)很有用，但是那并非該命令的全部功能。特別方便的是：使用 -f 選項(xiàng)，
后面跟著要跳過(guò)的字段數(shù)，它能夠跳過(guò)給定數(shù)目的字段。當(dāng)您查看系統(tǒng)日志時(shí)這非常有用。
通常，某些項(xiàng)要被復(fù)制許多次，這使得查看日志很難。使用簡(jiǎn)單的 uniq 無(wú)法完成任務(wù)，因?yàn)槊恳豁?xiàng)都以不同的時(shí)間戳記開(kāi)頭。
但是如果您告訴它跳過(guò)所有的時(shí)間字段，您的日志一下子就會(huì)變得更加便于管理。試一試 uniq -f 3 /var/log/messages ，親眼看看。
還有另一個(gè)選項(xiàng) -s ，它的功能就像 -f 一樣，但是跳過(guò)給定數(shù)目的字符。您可以一起使用 -f 和 -s 。
uniq 先跳過(guò)字段，再跳過(guò)字符。如果您只想使用一些預(yù)先設(shè)置的字符進(jìn)行比較，那么該怎么辦呢？試試看 -w 選項(xiàng)。