http://www.iipl.fudan.edu.cn/research/mt.html
在當今網絡技術高速發展、各種媒體信息大量涌現的背景下，為了實現對多媒體信息的高效訪問，多媒體信息處理和檢索工具的研制成為當務之急。視頻實際上是集圖像序列、圖像、文字等為一體的、被人們廣泛使用的一種綜合性媒體，視頻信息處理和檢索已成為當前研究熱點。
視頻是在時間上連續的一系列圖像幀的集合，是一種沒有結構的圖像流。我們可以把視頻看作一本沒有目錄和索引的書，那么一幅圖像幀就相當于書中的一頁。由于視頻這部書缺乏目錄和索引信息，人們就無法對它進行高效瀏覽和檢索，無法快速閱讀。為尋找感興趣的視頻片段，人們只能采取“快進”和“快倒”這種耗時的閱讀方式線性瀏覽。
隨著數字視頻數據量迅速增加，傳統的“線性”瀏覽方式已遠不能滿足人們對視頻內容的訪問和查詢需求。用慣了文本搜索引擎的用戶越來越希望能在海量視頻庫中快速找到自己感興趣的視頻片段，因此就需要為視頻建立有效的目錄結構，以方便查找。一般來說，按照視頻內容粒度可以把視頻分為多個層次，從高到低依次為：節目、場景（故事）、鏡頭組、鏡頭和關鍵幀。
鏡頭是指攝像機從打開到關閉的過程中記錄下來的一組連續圖像幀。鏡頭邊界是客觀存在的，可以采用一定的方法自動檢測鏡頭邊界。在實際應用中，用戶瀏覽一個鏡頭中所有圖像幀是非常耗時的，因此常用關鍵幀技術實現快速瀏覽。關鍵幀是指代表鏡頭中最重要的、有代表性的一幅或多幅圖像。依據鏡頭內容的復雜程度，可以從一個鏡頭中提取一個或多個關鍵幀或構造一個關鍵幀。為了在語義層建立視頻結構模型，需要對視頻進行場景劃分。場景定義為語義上相關、時間上相鄰的一組鏡頭，它們能夠表達視頻的高層次概念或故事等。鏡頭是組成視頻的基本物理單位，而場景（又稱故事）則是視頻在語義層的單位，通常只有場景才能向觀看者傳達相對完整的語義。鏡頭組是一組在時間上相鄰并在內容上相似的一組鏡頭，它是界于鏡頭和場景之間的一組連續的物理實體，是聯系鏡頭和場景的橋梁。節目則是由時間上有序的場景組成，例如新聞節目、娛樂節目、體育節目、天氣預報等。
基于上述的視頻內容的結構化分析框架，自動鏡頭邊界檢測和關鍵幀提取技術的研究是視頻內容分析中的重要研究課題，也是場景構造的基礎。在鏡頭邊界檢測之后，就要提取相應的關鍵幀。提取關鍵幀的方法有很多，最簡單的方法是提取每個鏡頭的第一幀和最后一幀作為關鍵幀。更好的方法是根據鏡頭的視覺內容和運動提取關鍵幀，甚至可以用拼接方法生成一個全景圖作為關鍵幀。
一旦鏡頭和關鍵幀提取出來后，一種簡單且直觀的方法就是用關鍵幀的順序排列來表示或展現視頻內容。用戶可以通過瀏覽關鍵幀序列來了解視頻內容，并可根據自己感興趣的關鍵幀來選擇性播放或下載視頻片段。當視頻長度較短且內容簡單時，少量的關鍵幀就可以較好地表示整段視頻；然而當鏡頭和關鍵幀數量巨大時，這種方法對用戶檢索和瀏覽來說仍是困難的和繁瑣的。例如，一部故事片可能包含數千個鏡頭和更多的關鍵幀，如果僅用這些關鍵幀序列來表示節目內容是沒有意義的，因為人們更關心的是故事情節而不是鏡頭和關鍵幀。為了使用戶更好地訪問視頻數據庫，人們提出了視頻摘要技術。顧名思義，視頻摘要是對視頻內容的高度概括，是視頻中最重要、最精彩的總結。如何為視頻構造良好的摘要是視頻處理和檢索中的另一個重要研究課題。目前，對視頻摘要的研究主要集中在場景分割上，人們試圖通過對視頻場景的分析來實現視頻摘要。
在視頻流的層次性結構建立后，就可以對視頻內容進行快速瀏覽和檢索了。在視頻瀏覽中，用戶可以通過對視頻摘要的瀏覽來確定是否觀看某段視頻，并可直接定位到感興趣的關鍵幀，從而免去“快進”和“快倒”的煩惱。除了方便瀏覽外，還應為用戶提供高效檢索手段。通過檢索，用戶可以快速查找到自己感興趣的視頻內容。實現檢索的關鍵是為視頻內容建立有效索引結構，其中視頻片段、關鍵幀、關鍵詞、目錄結構、特定對象（例如人臉、汽車等）、疊加字符、伴音和特定運動等都是建立索引的重要內容。建好索引的視頻數據庫相當于一個層次式的語義網絡，用戶可以根據需要采用多種不同的方式提出查詢請求，實現多模態的人機查詢界面。
視頻信息處理和檢索技術具有非常廣闊的應用前景，目前世界上很多著名的研究機構在研究視頻信息檢索技術及其應用，并開發了一些原型系統，如UIUC的MARS系統、IBM的CueVideo系統、Microsoft的新聞視頻瀏覽系統、Columbia大學的VideoQ系統以及CMU的IDVLS系統等等。
視頻信息處理和檢索是一個內容非常廣泛的、交叉性很強的研究領域，涉及到多方面關鍵技術。一個高效的視頻處理和檢索系統需要由各個處理模塊的相互配合，而其中每一個模塊的實現都是一項細致的、復雜的工程。從目前的研究來看，要實現真正實用的視頻處理和檢索系統，還需要做很多工作。相信隨著網絡技術和多媒體技術的發展，在研究人員的共同努力下，視頻處理和檢索技術的研究將跨上一個新的臺階。