Linux IO系統(tǒng)的架構圖
一．設備-------- 影響磁盤性能的因素
硬盤的轉速影響硬盤的整體性能。一般情況下轉速越大，性能會越好。
硬盤的性能因素主要包括兩個：1.平均訪問時間2傳輸速率。
平均訪問時間包括兩方面因素：
平均尋道時間(Average Seek Time)是指硬盤的磁頭移動到盤面指定磁道所需的時間。一般在3ms至15ms之間。
平均旋轉等待時間(Latency)是指磁頭已處于要訪問的磁道，等待所要訪問的扇區(qū)旋轉至磁頭下方的時間。一般在2ms至6ms之間。
傳輸速率(Data Transfer Rate) 硬盤的數(shù)據傳輸率是指硬盤讀寫數(shù)據的速度，單位為兆字節(jié)每秒（MB/s）。磁盤每秒能傳輸80M~320M字節(jié)。
傳輸速率包括內部傳輸速率和外部傳輸速率。
內部傳輸率(Internal Transfer Rate) 也稱為持續(xù)傳輸率(Sustained Transfer Rate)，它反映了硬盤緩沖區(qū)未用時的性能。內部傳輸率主要依賴于硬盤的旋轉速度。
外部傳輸率（External Transfer Rate）也稱為突發(fā)數(shù)據傳輸率（Burst Data Transfer Rate）或接口傳輸率，它標稱的是系統(tǒng)總線與硬盤緩沖區(qū)之間的數(shù)據傳輸率，外部數(shù)據傳輸率與硬盤接口類型和硬盤緩存的大小有關。STAT2 的傳輸速率在300MB/s級別。
因此在硬件級上，提高磁盤性能的關鍵主要是降低平均訪問時間。
二．設備驅動
內存到硬盤的傳輸方式：poll，中斷，DMA
DMA：當 CPU 初始化這個傳輸動作，傳輸動作本身是由 DMA 控制器 來實行和完成。
DMA控制器獲得總線控制權后，CPU即刻掛起或只執(zhí)行內部操作，由DMA控制器輸出讀寫命令，直接控制RAM與I/O接口進行DMA傳輸。DMA每次傳送的是磁盤上相鄰的扇區(qū)。Scatter-gather DMA允許傳送不相鄰的扇區(qū)。
CPU性能與硬盤與內存的數(shù)據傳輸速率關系不大。
設備驅動內有一個結構管理著IO的請求隊列
structrequest_queue（include/linux/Blkdev.h）
這里不僅僅有讀寫請求的數(shù)據塊，還有用于IO調度的回調函數(shù)結構。每次需要傳輸?shù)臅r候，就從隊列中選出一個數(shù)據塊交給DMA進行傳輸。
所以IO調度的回調函數(shù)這是降低平均訪問的時間的關鍵。
三．OS
IO調度器
Linux kernel提供了四個調度器供用戶選擇。他們是noop,cfq,deadline,as?？梢栽谙到y(tǒng)啟動時設置內核參數(shù)elevator=<name>來指定默認的調度器。也可以在運行時為某個塊設備設置IO調度程序。
下面來簡要介紹這四個調度器的電梯調度算法。
Noop：最簡單的調度算法。新的請求總是被添加到隊頭或者隊尾，然后總是從隊頭中選出將要被處理的請求。
CFQ：（Complete FarinessQueueing）它的目標是在所有請求的進程中平均分配IO的帶寬。因此，它會根據進程創(chuàng)建自己的請求隊列，然后將IO請求放入相應的隊列中。在使用輪轉法從每個非空的隊列中取出IO請求。
Deadline：使用了四個隊列，兩個以磁盤塊序號排序的讀寫隊列，兩個以最后期限時間排序的讀寫隊列。算法首先確定下一個讀寫的方向，讀的優(yōu)先級高于寫。然后檢查被選方向的最后期限隊列：如果最后期限時間的隊列中有超時的請求，則將剛才的請求移動至隊尾，然后在磁盤號排序隊列中從超時請求開始處理。當處理完一個方向的請求后，在處理另一個方向的請求。（讀請求的超時時間是500ms，寫請求的超時時間是5s）
Anticipatory：它是最復雜的IO調度算法。和deadline算法一樣有四個隊列。還附帶了一些啟發(fā)式策略。它會從當前的磁頭位置后的磁盤號中選擇請求。在調度了一個由P進程的IO請求后，會檢查下一個請求，如果還是P進程的請求，則立即調度，如果不是，同時預測P進程很快會發(fā)出請求，則還延長大約7ms的時間等待P進程的IO請求。
Write/Read函數(shù)
以ext3的write為例：
系統(tǒng)調用write()的作用就是修改頁高速緩存內的一些頁的內容，如果頁高速緩存內沒有所要的頁則分配并追加這些頁。
當臟頁達到一定數(shù)量或者超時后，將臟頁刷回硬盤。也可以執(zhí)行相關系統(tǒng)調用。
為什么要達到一定數(shù)量，是因為延遲寫能在一定層度上提高系統(tǒng)的性能，這也使得塊設備的平均讀請求會多于寫請求。
在程序中調用write函數(shù)，將進入系統(tǒng)調用f_op->write。這個函數(shù)將調用ext3的do_sync_write。這個函數(shù)將參數(shù)封裝后調用generic_file_aio_write。由參數(shù)名可以看出同步寫變成了異步寫。如果沒有標記O_DIRECT，將調用函數(shù)generic_file_buffered_write將寫的內容寫進kernel的高速頁緩存中。Buffer是以page為單位即4k。之后當調用cond_resched()進行進程的調度，DMA會將buffer中的內容寫進硬盤。
所以當每次以4k為單位寫入硬盤時效率會達到最高。下面是UNIX環(huán)境高級編程的實驗結果：
下圖是linux 的塊設備的數(shù)據操作層次：
Sector扇區(qū)：是設備驅動和IO調度程序處理數(shù)據粒度。
Block塊：是VFS和文件系統(tǒng)處理數(shù)據的粒度。其大小不唯一，可以是512,1024,2048,4096字節(jié)。內核操作的塊大小是4096字節(jié)。
Segment段：是DMA傳送的單位。每一個段包含了相鄰的扇區(qū)，它能使DMA傳送不相鄰的扇區(qū)。
四．用戶程序
根據以上的分析，我們的write buffer一般設置為4K的倍數(shù)。
在程序中有意識的延遲寫。這個是os的策略，當然也可以應用到程序的設計中。當然也會有缺點：1.如果硬件錯誤或掉電，則會丟失內容（做額外的備份）2.需要額外的內存空間。（犧牲內存來提高IO的效率）
我們還需根據系統(tǒng)的IO調度器的調度策略，設計出不同的IO策略。盡量降低磁盤的平均訪問時間，降低請求隊列，提高數(shù)據傳輸?shù)乃俾省?/span>
五．監(jiān)控硬盤的工具和指標
Iostat–x –k 1
-x顯示更多的消息 -k數(shù)據以KB為單位 1每秒顯示一次
輸出顯示的信息
Iowait：cpu等待未完成的IO請求而空閑的時間的比例。
Idle：cpu空閑且無IO請求的比例。
rrqm/s：每秒這個設備相關的讀取請求有多少被Merge了。
wrqm/s：每秒這個設備相關的寫入請求有多少被Merge了。
rsec/s：每秒讀取的扇區(qū)數(shù)；
wsec/：每秒寫入的扇區(qū)數(shù)。
r/s：每秒完成的讀 I/O 設備次數(shù)。即 delta(rio)/s
w/s：每秒完成的寫 I/O 設備次數(shù)。即 delta(wio)/s
await：每一個IO請求的處理的平均時間（單位是毫秒）。包括加入請求隊列和服務的時間。
svctm: 平均每次設備I/O操作的服務時間。
avgrq-sz: 平均每次設備I/O操作的數(shù)據大小 (扇區(qū))。即 delta(rsect+wsect)/delta(rio+wio)
avgqu-sz: 平均I/O隊列長度。即 delta(aveq)/s/1000 (因為aveq的單位為毫秒)。
%util：在統(tǒng)計時間內所有處理IO時間，除以總共統(tǒng)計時間。例如，如果統(tǒng)計間隔1秒，該設備有0.8秒在處理IO，而0.2秒閑置，那么該設備的%util = 0.8/1 = 80%，所以該參數(shù)暗示了設備的繁忙程度。一般地，如果該參數(shù)是100%表示設備已經接近滿負荷運行了（當然如果是多磁盤，即使%util是100%，因為磁盤的并發(fā)能力，所以磁盤使用未必就到了瓶頸）。
下面我們做一個實驗來分析一下
我們使用命令
time dd if=/dev/zero of=/home/zhouyuan/mytest bs=1M count=3000
向mytest寫入數(shù)據，寫入3G。
截取部分的狀態(tài)監(jiān)控：
如圖2，當兩條數(shù)據 iowait 達到了 99% 以上，寫入的數(shù)據是0，這是因為DMA將內存的中的數(shù)據傳輸給設備。結合圖1的前兩條數(shù)據，利用率達到了99%+卻沒有寫入的磁盤塊。
如圖3，iowait下降，說明cpu開始執(zhí)行相關程序，而此時塊設備開始寫入的數(shù)據。這兩個操作是異步進行的。
Vmstat–k –n 1
Swap
si: 從磁盤交換到內存的交換頁數(shù)量，單位：KB/秒
so: 從內存交換到磁盤的交換頁數(shù)量，單位：KB/秒
IO
bi: 從塊設備接受的塊數(shù)，單位：塊/秒
bo: 發(fā)送到塊設備的塊數(shù)，單位：塊/秒
從圖中我們可以看出系統(tǒng)的延遲寫。