基于DirectShow的流媒體解碼和回放
一、 前言
流媒體的定義很廣泛,大多數(shù)時(shí)候指的是把連續(xù)的影像和聲音信息經(jīng)過壓縮處理后放上網(wǎng)站服務(wù)器,讓用戶一邊下載一邊觀看、收聽,而不需要等整個(gè)壓縮文件下載到自己機(jī)器就可以觀看的視頻/音頻傳輸、壓縮技術(shù)。流媒體也指代由這種技術(shù)支持的某種特定文件格式:壓縮流式文件,它通過網(wǎng)絡(luò)傳輸,并通過個(gè)人電腦軟件進(jìn)行解碼。
MCI是微軟為Windows最初提出的多媒體編程接口,隨著多媒體技術(shù)的迅速發(fā)展,各種壓縮算法在該領(lǐng)域的的應(yīng)用,MCI技術(shù)越來越顯的力不從心,最明顯的是它不支持可變比特率的壓縮算法,對(duì)于處理DVD等近年出現(xiàn)的多種新的媒體格式已顯得無能為力,而使用微軟提供的vfw之類的多媒體庫(kù)又太麻煩。怎么辦呢?
作為MCI的"接班人",微軟又適時(shí)推出了建立在DirectX(包含DirectDraw、DirectSound、Direct3D)之上的 DirectShow技術(shù),它是在DirectX之上的媒體層,支持來自本地或網(wǎng)絡(luò)的各種視頻、音頻壓縮格式的媒體文件的解碼和回放,可以從設(shè)備上捕捉多媒體流,也可以處理各種壓縮算法處理的流媒體。這些格式包括:MPEG的音頻和視頻標(biāo)準(zhǔn)、音頻和視頻交互標(biāo)準(zhǔn)(AVI)、WAVE、MIDI和高級(jí)流格式 ASF。DirectShow對(duì)媒體數(shù)據(jù)處理采用流媒體(Multimedia Stream)的方式,在應(yīng)用中使用該方式可以大大的減少編程的復(fù)雜程度,同時(shí)又可以自動(dòng)協(xié)商從數(shù)據(jù)源到應(yīng)用的轉(zhuǎn)換,流接口提供了統(tǒng)一的、可以預(yù)測(cè)的數(shù)據(jù)存取的控制方法,這樣應(yīng)用程序在播放媒體數(shù)據(jù)時(shí)不需要考慮它最初的來源和格式。
二、理解DirectX
DirectX是一個(gè)用于多媒體應(yīng)用程序和硬件增強(qiáng)的編程環(huán)境,它是微軟為了將其Windows建設(shè)成適應(yīng)各種多媒體的最好平臺(tái)而開發(fā)設(shè)計(jì)的。 DirectX目前已經(jīng)成為微軟自身SDK的一部分,而Windows 98/Windows 2000內(nèi)則集成了DirectX,表明它已成為操作系統(tǒng)的一部分。
DirectX技術(shù)是一種API(應(yīng)用程序接口),每個(gè)DirectX部件都是用戶可調(diào)用的API的總和,通過它應(yīng)用程序可以直接訪問計(jì)算機(jī)的硬件。這樣,應(yīng)用程序就可以利用硬件加速器(Hardware Accelerator)。如果硬件加速器不能使用,DirectX還可以仿真加速器以提供強(qiáng)大的多媒體環(huán)境。
為了理解DirectX,我們可以把系統(tǒng)分為四層:
●硬件/網(wǎng)絡(luò)層:放置有多媒體設(shè)備,包括圖形加速器、聲卡、輸入設(shè)備以及網(wǎng)絡(luò)通信設(shè)備等;
●DirectX基礎(chǔ)層:為圖像、聲音和設(shè)備提供多媒體基本服務(wù);
●DirectX媒體層:為動(dòng)畫制作、音頻和視頻等提供API功能;
●組件層:包括ActiveX控制和應(yīng)用,它利用DirectX的API功能的優(yōu)勢(shì)為用戶提供多媒體服務(wù)。
DirectShow 就是建立在DirectX媒體層之上的技術(shù),其前身是ActiveMovie2.0。它以一組API函數(shù)或ActiveX控件出現(xiàn),用途是讓開發(fā)者能夠在網(wǎng)絡(luò)上傳遞高質(zhì)量的音頻和視頻信號(hào)。值得一提的是,DirectShow為我們提供了一個(gè)開放式的開發(fā)環(huán)境,我們可以根據(jù)自己的需要定制組件。
三、DirectShow技術(shù)結(jié)構(gòu)
DirectShow定義了如何利用標(biāo)準(zhǔn)組件來處理流媒體數(shù)據(jù),這些組件稱為過濾器。過濾器帶有輸入、輸出針角(pin),或二者兼而有之。在DirectShow技術(shù)中處于最核心位置的就是作為"過濾器"的可插入標(biāo)準(zhǔn)組件,它是執(zhí)行特定任務(wù)的COM對(duì)象。過濾器又可被細(xì)分為源過濾器(Source filter)、變換過濾器(Transform filter)、表現(xiàn)過濾器(Renderer filter)等。過濾器通過向文件讀寫、修改數(shù)據(jù)和顯示數(shù)據(jù)到輸出設(shè)備上來操作流媒體。為了完成整個(gè)任務(wù),必須要將所有的過濾器Filter連接起來,這三種過濾器組成了過濾器圖表結(jié)構(gòu),如圖3.1所示:
![]() 圖3.1 過濾器圖表結(jié)構(gòu)(Filter Graph) |
從圖3.1中可以看出,過濾器圖表是各種過濾器的集合,它是通過過濾器的輸入輸出針腳"pin"順序連接而成的,這些過濾器的針腳通過協(xié)商來決定它們將支持何種形式多媒體。由于DirectShow支持可重構(gòu)的過濾器圖表結(jié)構(gòu),所以使用相同的軟件組件可以播放多種類型的媒體。開發(fā)人員可以通過定義自己的過濾器來擴(kuò)展DirectShow對(duì)媒體的支持功能。
在過濾器圖表結(jié)構(gòu)中,源過濾器用來從數(shù)據(jù)源獲取數(shù)據(jù),并將數(shù)據(jù)傳送到過濾器圖表中,這里的數(shù)據(jù)源可以是攝像機(jī)、因特網(wǎng)、磁盤文件等;轉(zhuǎn)換過濾器用來獲取、處理和傳送媒體數(shù)據(jù),它包括分離視頻和音頻的分解變換過濾器(Splitter transform filter)、解壓視頻數(shù)據(jù)的視頻轉(zhuǎn)換過濾器(Video transform filter)、解壓音頻數(shù)據(jù)的音頻轉(zhuǎn)換過濾器(Audio transform filter);表現(xiàn)過濾器用來在硬件上表現(xiàn)媒體數(shù)據(jù),如顯卡和聲卡,或者是任何可以接受媒體數(shù)據(jù)的地方,如磁盤文件。它包括用來顯示圖像的視頻表現(xiàn)過濾器(Video renderer filter)、將音頻數(shù)據(jù)送到聲卡上去的音頻表現(xiàn)過濾器(Audio renderer filter)。
在過濾器圖表中,為了完成特定的任務(wù),必須將所有需要的過濾器連接起來,因此前級(jí)過濾器的輸出必定成為下級(jí)過濾器的輸入。一個(gè)過濾器至少有一個(gè)輸入針(Input pin),并將特定的輸出送到輸出針(Output pin);圖3.2顯示了一個(gè)過濾器連接圖:
![]() 3.2 過濾器連接圖 |
你的應(yīng)用程序不需要對(duì)過濾器圖表中的各個(gè)過濾器進(jìn)行單獨(dú)的處理,因?yàn)樵诟叩膶哟紊希珼irectShow提供的一個(gè)稱為過濾圖表管理器的部件(FGM)管理著這些過濾器的連接和流媒體數(shù)據(jù)在過濾器之間的流動(dòng),FGM (唐:也就是filter graph manager)提供了一套COM接口,應(yīng)用程序可以通過它來訪問過濾器圖表、控制流媒體或者接收過濾器事件。如果需要,它可以自動(dòng)的插入一個(gè)合適的解碼器,并將轉(zhuǎn)換過濾器的輸出針腳連接到表現(xiàn)過濾器。應(yīng)用程序可以通過與過濾圖表管理器的通信來控制過濾器圖表的活動(dòng)。程序開發(fā)人員只需要調(diào)用API函數(shù)來實(shí)現(xiàn)對(duì)流媒體的控制,如run方法啟動(dòng)流媒體在過濾器圖表(Filter graph)中的流動(dòng);pause方法暫停流媒體的播放;stop方法停止播放流媒體等。
另外,利用Filter Graph Manager能夠?qū)⑹录畔魉偷綉?yīng)用層這一特點(diǎn),可以使應(yīng)用程序可以響應(yīng)事件處理,例如播放或搜索流媒體中的特定時(shí)間段的數(shù)據(jù)、流結(jié)束信息等。
圖3.3是一個(gè)MPEG解碼播放的實(shí)例,可以看出Source filter將獲取的多媒體數(shù)據(jù)通過Outpin送到MPEG分解轉(zhuǎn)換過濾器,MPEG分解轉(zhuǎn)換過濾器有一個(gè)輸入針腳,兩個(gè)輸出針角分別將視頻和音頻解釋碼器進(jìn)行解碼,最后兩路數(shù)據(jù)分別通過視頻表示過濾器、音頻表示過濾器送到顯卡和聲卡進(jìn)行回放。
![]() 圖3.3 MPEG解碼實(shí)例 |
四、DirectShow程序開發(fā)
DirectShow 建立在COM組件技術(shù)基礎(chǔ)上,所以開發(fā)DirectShow程序必須要掌握COM組件技術(shù)。DirectShow與COM緊密相連,它所有的部件和功能都由COM接口來構(gòu)造和實(shí)現(xiàn),其開發(fā)方式相當(dāng)靈活,沒有固定的模式,通常隨不同的需要使用不同的COM接口。但是其中幾個(gè)重要的接口確實(shí)經(jīng)常需要用到的:IGraphBuilder接口,這是最為重用的COM接口,用來創(chuàng)建Filter Graph Manager;IMediaControl接口,用來控制流媒體在濾波器圖表(Filter Graph)中的流動(dòng),例如流媒體的啟動(dòng)和停止;IMediaEvent接口,該接口在Filter Graph發(fā)生一些事件時(shí)用來創(chuàng)建事件的標(biāo)志信息并傳送給應(yīng)用程序。
一個(gè)典型的DirectShow應(yīng)用程序的開發(fā)通常遵循的步驟為:
1)通過API函數(shù)CoCreateInstance()創(chuàng)建一個(gè)Filter Graph Manager 實(shí)例;
2)通過調(diào)用QueryInterface ( )函數(shù)來獲取Filter Graph 和IMediaEvent組件的指針;
3)對(duì)Filter Graph進(jìn)行控制和對(duì)事件作出響應(yīng)。
下面舉一個(gè)簡(jiǎn)單的例子來說明如何利用DirectShow技術(shù)對(duì)多媒體流進(jìn)行解碼回放的。首先生成一個(gè)名為MediaPlay的單文檔應(yīng)用程序,定義一個(gè)名字為MediaPlay的函數(shù),該函數(shù)的具體實(shí)現(xiàn)代碼為:
void PlayMovie(LPTSTR lpszMovie) { IMediaControl *pMC = NULL; IGraphBuilder *pGB = NULL; IMediaEventEx *pME = NULL; long evCode; // something to hold a returned event code hr = CoCreateInstance(CLSID_FilterGraph, NULL, CLSCTX_INPROC, IID_IMediaControl, (void **)&pMC); hr = pMC->QueryInterface(IID_IGraphBuilder, (void **)&pGB); hr = pMC->QueryInterface(IID_IMediaEventEx, (void **)&pME); hr = pGB->RenderFile(lpszMovie, NULL); hr = pMC->Run(); hr = pME->WaitForCompletion(INFINITE, &evCode); if(pMC)pMC->Release(); if(pGB)pGB->Release(); if(pME)pME->Release(); } |
上述代碼中,CoCreateInstance()函數(shù)創(chuàng)建了一個(gè)過濾器圖表(Filter Graph)對(duì)象,并返回一個(gè)媒體控制(ImediaControl)接口,這個(gè)接口通過過濾器來實(shí)現(xiàn)播放、暫停、停止等媒體放映功能,但是這時(shí)候圖表對(duì)象并不包含具體的過濾器,因?yàn)榇藭r(shí)DirectX并不清楚需要播放何種類型的媒體;接下來創(chuàng)建一個(gè)圖表構(gòu)建接口,該接口可以實(shí)現(xiàn)創(chuàng)建過濾器圖表、向圖表對(duì)象添加、刪除各種過濾器、列舉當(dāng)前過濾器圖表中所有的過濾器、連接圖表對(duì)象中的各個(gè)過濾器等功能;本例中使用了IGraphBuilder 接口的RenderFile()函數(shù),告訴DirectX需要播放的媒體文件名,此時(shí)IgraphBuilder對(duì)象接口根據(jù)多媒體文件的類型,自動(dòng)向過濾器圖表添加播放該類型媒體所需的的各種過濾器,并實(shí)現(xiàn)其連接。
最后,函數(shù)調(diào)用ImediaControl接口對(duì)象的Run()函數(shù),就可以開始播放媒體文件了。為了實(shí)現(xiàn)從頭至尾的順序播放完多媒體文件,需要調(diào)用IMediaEventEx 對(duì)象接口的WaitForCompletion()阻塞函數(shù)的運(yùn)行,直到媒體文件結(jié)束后才可以釋放對(duì)象、結(jié)束函數(shù)的運(yùn)行。
Trackback: http://tb.blog.csdn.net/TrackBack.aspx?PostId=245654
posted on 2007-01-22 14:36 大龍 閱讀(645) 評(píng)論(1) 編輯 收藏 引用