參觀過(guò)工廠裝配線的人一定對(duì)流水線這個(gè)名字不陌生，半成品在皮帶機(jī)上流過(guò)一系列的流水線節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)以自己的方式進(jìn)一步裝配，然后傳給下一節(jié)點(diǎn)?，F(xiàn)代的高性能CPU均采用了這種流水線設(shè)計(jì)，將計(jì)算任務(wù)分為取指，譯碼，執(zhí)行，訪存，反饋等幾個(gè)階段。采用流水線設(shè)計(jì)的最大優(yōu)點(diǎn)就是增加了系統(tǒng)吞吐量，例如，當(dāng)?shù)谝粭l指令處于執(zhí)行階段的時(shí)候，譯碼單元可以在翻譯第二條指令，而取指單元?jiǎng)t可以去加載第三條指令。甚至，在某些節(jié)點(diǎn)還可以并行執(zhí)行，例如，現(xiàn)代的MIMD多指令多數(shù)據(jù)的計(jì)算機(jī)，可以在同一時(shí)間執(zhí)行多條指令，或者同時(shí)更新多個(gè)數(shù)據(jù)。
在Intel認(rèn)識(shí)到頻率已成為CPU性能瓶頸之后，多核處理器應(yīng)運(yùn)而生。如今高性能程序設(shè)計(jì)的根本已經(jīng)轉(zhuǎn)變?yōu)槿绾胃浞值睦?/span>CPU資源，更快更多地處理數(shù)據(jù)，而Intel所開(kāi)發(fā)的開(kāi)源 TBB庫(kù)巧妙的利用了流水線這種思想，實(shí)現(xiàn)了一個(gè)自適應(yīng)的高性能軟件流水線TBB::pipeline。本文將會(huì)以text_filter為例，簡(jiǎn)單介紹pipeline的實(shí)現(xiàn)原理和一些關(guān)鍵技術(shù)點(diǎn)，以求達(dá)到拋磚引玉的效果。
介紹TBB::pipeline之前不得不先說(shuō)一下TBB庫(kù)的引擎-task scheduler，它又被稱(chēng)為TBB庫(kù)的心臟[Intel TBB nutshell book]，是所有算法的基礎(chǔ)組件，用于驅(qū)動(dòng)整個(gè)TBB庫(kù)的運(yùn)作。例如，TBB庫(kù)所提供的parallel_for算法，里面就有task scheduler的蹤影，pipeline也不例外。
先看看parallel_for的實(shí)現(xiàn)：
template<typename Range, typename Body>
void parallel_for( const Range& range, const Body& body, const simple_partitioner& partitioner=simple_partitioner() ) {
internal::start_for<Range,Body,simple_partitioner>::run(range,body,partitioner);
}
再往下看：
template<typename Range, typename Body, typename Partitioner>
class start_for: public task {
Range my_range;
const Body my_body;
typename Partitioner::partition_type my_partition;
/*override*/ task* execute();
//! Constructor for root task.
start_for( const Range& range, const Body& body, Partitioner& partitioner ) :
...
}
可以看到，class start_for是從task繼承的，而這個(gè)class task，就是task scheduler中進(jìn)行任務(wù)調(diào)度的基本元素---task，這也是TBB庫(kù)的靈魂所在。相對(duì)于原生線程庫(kù)(Raw Thread)，例如POSIX thread(pthread)，TBB庫(kù)可以看作是一種對(duì)多線程更高層面的封裝，它不再使用thread，而是以task作為基本的任務(wù)抽象，從而能夠更好的整合計(jì)算資源并最優(yōu)化的調(diào)度任務(wù)。TBB庫(kù)的種種優(yōu)點(diǎn)，如自動(dòng)調(diào)整工作負(fù)荷，系統(tǒng)擴(kuò)展性等，全是拜task scheduler所賜。TBB提供的每種算法都有其獨(dú)特的應(yīng)用背景，如果算法不能滿(mǎn)足用戶(hù)的需求，那么完全可以以task為基類(lèi)派生出新類(lèi)，擴(kuò)展出新的任務(wù)執(zhí)行和調(diào)度算法。這種思想貫穿了TBB的整個(gè)設(shè)計(jì)，而TBB::pipeline，也是這種思想的典型體現(xiàn)。
TBB::pipeline的優(yōu)點(diǎn)：
保證數(shù)據(jù)執(zhí)行的順序
線程負(fù)載自動(dòng)調(diào)節(jié)
更高的Cache命中率
系統(tǒng)擴(kuò)展性
假如目前有這樣一項(xiàng)任務(wù)，對(duì)一個(gè)文件的內(nèi)容進(jìn)行分析，將每一個(gè)字符串的首字符改為大寫(xiě)，然后寫(xiě)入一個(gè)新文件里。
一個(gè)傳統(tǒng)的串行執(zhí)行的解決方案是:
分別創(chuàng)建讀入和寫(xiě)出文件
while (!EOF)
{
從文件讀入一個(gè)字符串
首字符轉(zhuǎn)化為大寫(xiě)字符
寫(xiě)入一個(gè)字符串到文件
}
關(guān)閉讀入和寫(xiě)出文件的描述符
這么簡(jiǎn)單的過(guò)程，還有可能通過(guò)TBB::Pipeline來(lái)提供性能嗎？我們來(lái)看看Pipeline的解決方案：
1.分別創(chuàng)建讀入和寫(xiě)出文件描述符
2.建立三個(gè)task，分別是“從文件讀入一個(gè)字符串”，“首字符轉(zhuǎn)化為大寫(xiě)字符”,“ 寫(xiě)入一個(gè)字符串到文件”，其中需要指定“從文件讀入一個(gè)字符串”和“寫(xiě)入一個(gè)字符串到文件”這兩個(gè)task為串行執(zhí)行。(為什么要串行執(zhí)行，請(qǐng)自行思考或者去看Intel TBB的nutshell book)
3.啟動(dòng)Pipeline,讓Pipeline通過(guò)內(nèi)建的task scheduler來(lái)調(diào)度這些task的運(yùn)行。
用一個(gè)29MB的文件作為測(cè)試用例，在我的雙核機(jī)器上串行執(zhí)行的速度是 0.527582秒，而Pipeline的速度是0.446161，對(duì)于更復(fù)雜的邏輯，Pipeline的性能還會(huì)顯著提升。性能提升的奧秘，就在于Pipeline能夠自動(dòng)根據(jù)系統(tǒng)情況，以并行方式執(zhí)行“首字符轉(zhuǎn)化為大寫(xiě)字符”這個(gè)task。
具體的Pipeline的示例代碼和使用，可以去參考Intel TBB的nutshell book，這里想繼續(xù)深究一下：
1. 為什么Pipeline可以保證數(shù)據(jù)執(zhí)行的順序?既然TBB歸根到底是通過(guò)多線程執(zhí)行任務(wù)，為什么不會(huì)在讀入先后兩個(gè)字符串后，后讀入的字符串先被下一個(gè)task處理?Pipeline里是不是有一個(gè)類(lèi)似于FIFO 先進(jìn)先出隊(duì)列之類(lèi)的東西？
2. 為什么Pipeline能夠自動(dòng)地并行執(zhí)行“首字符轉(zhuǎn)化為大寫(xiě)字符”這個(gè)task?如果這個(gè)task被并行執(zhí)行了，那么又怎么保證第一點(diǎn)？
3. Pipeline是怎么保證那些task被串行執(zhí)行的。
4. 所謂“自動(dòng)根據(jù)系統(tǒng)情況，進(jìn)行任務(wù)調(diào)度”是怎么一回事？
這些既是問(wèn)題，也是Pipeline中的關(guān)鍵技術(shù)點(diǎn)，有心的可以去研讀一下Pipeline的代碼先睹為快。
Intel TBB的nutshell book -- <Intel Threading Building Blocks –Outfitting C++ for Multi-Core Processor Parallelism>