與人類視聽覺感知密切相關的圖像、語音和文本（語言）信息在社會、經濟和國家安全等領域中扮演著重要角色，并在今后一段時間內仍將迅猛增長。這類信息可被人類直接感知和理解，也可用計算機進行處理，但計算機的處理能力遠遜于人類且處理效率遠不能滿足當今社會的發展需求。如何借鑒人類的認知機理和相關數學的最新研究成果，建立新的計算模型和方法，從而大幅度提高計算機對這類信息的理解能力與處理效率，不僅可有力推動信息科學的快速發展，也將為國民經濟和社會發展做出重大貢獻。
一、科學目標
本重大研究計劃的總體科學目標是：圍繞國家重大需求，充分發揮信息科學、生命科學和數理科學的交叉優勢，從人類的視聽覺認知機理出發，研究并構建新的計算模型與計算方法，提高計算機對非結構化視聽覺感知信息的理解能力和海量異構信息的處理效率，克服圖像、語音和文本（語言）信息處理所面臨的瓶頸困難，為確保國家安全與公共安全、推動信息服務及相關產業發展以及提高國民生活和健康水平做出重要貢獻。具體表現為：在視聽覺信息處理的基礎理論研究方面取得重要進展；在視聽覺信息協同計算、自然語言（漢語）理解以及與視聽覺認知相關的腦―機接口等三項關鍵技術方面取得重大突破；集成上述相關研究成果，研制具有自然環境感知與智能行為決策能力的無人駕駛車輛驗證平臺，主要性能指標達到世界先進水平，從而提升我國在視聽覺信息處理領域的整體研究實力，培養具有國際影響力的優秀人才與團隊，為國家安全和社會發展提供相關研究環境與技術支撐。
二、核心科學問題
本重大研究計劃將圍繞“感知特征提取、表達與整合”、“感知數據的機器學習與理解”和“多模態信息協同計算”等核心科學問題，組織并實施如下四個主要方面的研究工作。
（一）圖像與視覺信息計算。
主要研究圖像與視覺信息計算的認知機理，視覺基本特征的提取與選擇，物體識別與圖像內容理解，復雜場景下運動目標的行為分析等。提出若干圖像與視覺信息的高效計算模型，取得國際公認的原創性研究成果（在Nature, Science, IEEE Trans. PAMI等刊物上發表高水平論文），培養具有國際影響力的優秀人才與研究團隊。
（二）語音與聽覺信息計算。
主要研究聽感知機理與音頻場景分析，自然環境下的語音識別與合成，口語對話分析與理解等。取得國際上有影響的原創性研究成果，提出若干語音與聽覺信息的有效計算模型，在本領域國際權威刊物上發表高水平論文，培養具有國際影響力的優秀人才與研究團隊。
（三）自然語言（漢語）理解。
主要研究語言加工的認知機理，語言知識建模和語義計算模型，基于語義理解的機器翻譯方法，面向網絡的漢語適度理解模型和系列分析工具，支持自然環境下口語對話分析、識別與理解的關鍵技術等。在國內已有相關成果的基礎上，統籌構建大規模高標準漢語語義知識庫。將上述研究成果應用到語言（漢語）信息處理典型系統中，顯著提高對自然語言（句子、段落、篇章）的理解能力，并在網絡信息檢索、過濾和知識獲取方面得到驗證。
（四）多模態信息的協同計算與腦—機接口。
主要研究多模態感知信息協同的認知機理與計算模型，基于視聽覺信息融合的模式識別與環境交互方法，跨模態視頻信息檢索與網絡敏感信息過濾技術等。大幅度提高跨模態視頻信息檢索的查準率，顯著提升本領域整體研究實力。
研究與視聽覺認知相關的腦信號提取、腦區定位與腦功能網絡分析方法和技術，腦—機交互中的信號傳輸、處理與控制技術，與視聽覺認知相關的腦—機接口典型應用。在改善殘疾人生活質量和功能康復等方面得到驗證或應用，為延伸和提高人類行為控制能力提供新技術。
三、關鍵技術與集成驗證平臺
在上述研究工作的基礎上，本重大研究計劃進一步開展與視聽覺信息處理相關的關鍵技術和集成驗證平臺研究。
（一）視聽覺信息協同計算的關鍵技術。
研究機器視聽覺信息的協同計算模型及系統實現技術，基于視聽覺信息融合的模式識別技術與驗證系統，跨模態視頻信息檢索與網絡敏感信息過濾技術及應用。基于多模態協同計算模型的網絡視頻信息搜索的查準率比同期國外最好水平高5%—10%，并在網絡信息安全與服務等領域得到驗證。
（二）自然語言（漢語）理解關鍵技術。
研究漢語通用詞匯的規范化語義知識庫及其構建技術，面向網絡的漢語適度理解模型及系列分析工具的實現技術，支持自然環境下口語對話分析、識別與理解的關鍵技術。在國內現有相關成果的基礎上，統籌構建漢語語義知識庫，漢語通用詞匯規模不小于5萬詞，帶有語義標注的漢語平衡語料庫規模不小于1千萬字。將研究成果應用到網絡環境下的漢語處理系統中，信息檢索與知識獲取的準確率比現有最好技術提高20%以上。
（三）與視聽覺認知相關的腦―機接口關鍵技術。
研究與視聽覺認知相關的腦信號提取、腦區定位與腦功能網絡分析技術，腦—機交互中的信號傳輸、處理、控制技術及系統實現，與視聽覺認知相關的腦—機接口典型應用。所提無創腦―機接口信息提取與分析等技術處于同期國際領先水平，在改善殘疾人生活質量和功能康復等方面得到驗證或應用。
（四）無人駕駛車輛集成驗證平臺。
集成上述基礎理論與關鍵技術的相關研究成果，將傳統視覺計算模型與新的視覺認知模型相結合，實現環境感知與建模方法新突破；實現多傳感器跨模態跨尺度信息融合，生成高質量三維場景認知地圖，構建高性能智能車輛無人駕駛驗證平臺；提供新的基于人—車—路狀態綜合分析的智能輔助安全駕駛關鍵技術；在國防、智能輔助安全駕駛等相關領域得到驗證或應用并產生重要影響。