http://mp.weixin.qq.com/s?__biz=MzI1NTE4NTUwOQ==&mid=2650325320&idx=1&sn=46bf96254385ac5dc98c483652fe281c&scene=1&srcid=0819trUwvVTJixa2vTpUJ4dd&from=groupmessage&isappinstalled=0#wechat_redirect
2016年8月12、13日深圳CCF-GAIR大會期間，深度學習大講堂采訪了南京大學周志華教授和360首席科學家顏水成博士，就深度學習的應用、與經典機器學習技術的關系、來自神經科學研究的啟發、深度學習的未來發展等問題進行了深入探討。CCF-GAIR全球人工智能與機器人峰會由中國計算機學會主辦，雷鋒網承辦，深圳市政府指導。多達1500人參與了本屆CCF-GAIR大會，他們是人工智能、機器人、智能駕駛等領域的從業者、研究者和各路科技媒體。深度學習是目前人工智能領域一個最熱門的主題，本次CCF-GAIR大會期間，深度學習大講堂作為特邀技術媒體在大會期間采訪了南京大學周志華教授和360首席科學家顏水成博士，訪談內容涵蓋深度學習的應用、深度學習與經典機器學習技術的關系、神經科學研究對深度學習的啟發意義、深度學習的未來發展等深度技術問題。周志華，男，1973年11月生。現任南京大學計算機科學與技術系副主任、南京大學計算機軟件新技術國家重點實驗室常務副主任、機器學習與數據挖掘研究所 (LAMDA) 所長，校、系學術委員會委員。國際計算機學會(ACM) 杰出科學家，國際人工智能學會 (AAAI) 、國際電氣電子工程師學會 (IEEE) 、國際模式識別學會 (IAPR)、國際工程技術學會 (IET/IEE)、中國計算機學會 等學會的會士 (Fellow)。主要從事人工智能、機器學習、數據挖掘、模式識別等領域的研究工作。主持多項科研課題，出版英文著作一部，主編文集多部，獲發明專利十余項，在一流國際期刊和頂級國際會議發表論文百余篇，被引用萬余次。
在微博上，周志華教授一貫言辭犀利又不失風趣。例如周老師層轉發過圖1名為專業深度學習調試的網圖。周老師還配了一個犀利旁白“有點幽默，但很樸實：深度學習現在差不多就是民工活。調來調去，刷來刷去，文章發得飛快，貌似熱鬧，但有多少是能積淀下來的實質真進展，又有多少是換個數據就不靠譜了的蒙事撞大運？何曾見過調試SVM核函數3元一個？既缺乏清澈干凈的內在美感，再不致力于去偽存真正本清源，只圖熱鬧好看，遲早把arXiv變成廢紙堆”。此微博一出，立刻在社交網絡上引發了熱議，既有擁躉的轉發呼應，也有反對者的犀利評論。周志華教授最后總結發言是“深度學習本身有很多重要的問題值得研究。年輕學生還是要盡量讓自己沉靜下來，多思考些深入的問題，不要急，否則浮幾年下來就沒根了。嚴肅的機器學習研究不是靠調參刷分”。社交網絡上的周志華教授保持著對深度學習的冷靜觀察和批判性思考，那么周志華教授如何看待自己學術成果的實際應用，如何看待深度學習與經典機器學習方法的關系，又對深度學習存在的問題做了哪些思考，請看下面的訪談。Q: 您在過去二十年中一直從事機器學習理論研究，比如多示例學習和集成學習，除了理論研究之外，您的工作成果有哪些實際中的應用？A：計算機科學是一個應用驅動的學科，中國幾乎所有大一點的互聯網公司、通訊公司，甚至包括一些跨國的企業，都和我們有合作。機器學習不是做一個具體的事情，而是在一些數據分析的任務中，遇到一些困難的問題，是用現成的技術解決不了的，我們會設計提供解決方案。用戶往往看到的只是例如防火墻、金融理財產品，但是背后的數據分析問題是可以由我們來利用機器學習技術解決的。Q：您如何看待深度學習的進展對經典機器學習方法的啟發意義？A： 機器學習中很多方法都是相同的，所謂深度學習，可以把它看成一種語言。深度學習并不是與過去的方法截然不同的，而是一種描述方式。深度學習中融入了很多以往的機器學習方法的機理，也融合了很多過去的方法，包括一些共性的理論問題也都是一樣的。Q：您如何看待在深度學習應用過程中“性能不夠、加層來湊”的說法？A：這個看法其實不是很對。增加了層數，不是說學習性能一定會變好。層數增加使得模型的復雜度更高，可以吃下去更多的數據，但是性能不一定會變好。比如一個問題本來只需要100層的網絡，如果做到120層性能反而可能會變壞。A：復雜度的評價是有方法的，可以從參數的數目、學習理論的角度來做。但是神經網絡的機理，其中有很多trick, 許多啟發式的試錯的做法。很多人去試，試出了很多不錯的做法。做應用的門檻相對低，甚至培訓幾個星期就可以做。但是做理論有很高的門檻，需要多年的培養。現在雖然試出很多的方法，但是沒有足夠多的做理論的人一個個去分析。一定要找到共性的東西，才能做理論分析。現在的問題是，大家都盲目的去試，最后都報告出來很有用，理論分析就跟不上了。A：其實，既不用贊美也不用批評深度學習，這是一個很自然的技術發展過程。機器學習每過五年、十年，就會有一種新的技術在當時變得非常流行。比如說90年代的統計學習，2000年的概率圖模型以及2010年以來的深度學習。A：我認為目前深度學習領域中最大的問題是理論的研究沒有跟上，很多的技術大家都只是在嘗試，缺乏比較嚴格的理論分析。顏水成博士，360 首席科學家，360 人工智能研究院院長。曾在新加坡國立大學領導機器學習與計算機視覺實驗室。顏水成博士的主要研究領域是計算機視覺，深度學習與多媒體分析。他的團隊在五年內曾7次問鼎計算機視覺領域頂級競賽PASCAL VOC 和 ILSVRC的世界冠軍和亞軍獎項。他的團隊所提出的“Network in Network” 對深度學習產生了很大的推動力，曾被Google在深度學習領域的代表性工作GoogLeNet引用并進一步發展為Inception結構。2015年，顏水成博士從新加坡國立大學離職，全職加入360，完成了從工業界到學術界的華麗轉身。作為一個互聯網公司人工智能研究院的領軍人物，顏水成博士的研究自然離不開深度學習的落地。那么顏水成博士如何看待深度學習在學術界的火爆？最滿意的工作什么?對深度學習的未來發展有哪些前瞻性的判斷?請看下面的訪談。A：深度學習帶來的諸多變化，起因是在視覺分析、語音識別等任務中的深度學習技術所達到的性能超過了商業應用最低的bound。例如，在深度學習出現之前，已經有人臉識別的研究，比如嵌入式設備上的人臉檢測、識別技術，但是總體上沒有達到很多工業級場景中定義的最低性能需求。近幾年來深度學習與人臉識別的結合則徹底改變了這一現狀。以我之前在新加坡國立大學計算機視覺與學習研究組的例子，我們做了三年Pascal VOC, 每年性能上漲只有不到兩個點。但是在2012年的ImageNet競賽中，基于深度學習的AlexNet的結果比上一年的最好方法的top-5錯誤率下降了10個百分點以上。Q：為了實現端上的智能，深度學習算法需要做什么改進？A： 實現端上的智能，一個重要的前提是需要考慮終端設備的運算能力的限制（由于智能設備對成本非常敏感，大多數情況下對CPU芯片的計算速度有限制）。深度學習算法的計算量普遍較高，解決這個問題，主要思路有兩個：1. 重新定義網絡結構，設計小的和特殊的網絡，例如Network in Network。2. 設計新的計算模型，在精度不降低的情況下，降低計算量。例如，我們目前在做的一個工作，用一個小網絡去預測卷積運算哪些位置不用算，類似于attention機制。這種做法可以稱之為More is less, 雖然網絡結構變復雜了，但是計算量減少了。Q：對于您在深度學習領域中眾多的工作，哪一項是您自己最滿意的？A：我個人最滿意的工作是Network in Network。我經常和學生說，如果一年能做出一個工作，類似1x1的卷積核這樣，成為深度網絡中的一個標準結構，是非常有價值的。Q：對于深度學習領域的其它工作，您最欣賞的是哪一個？A：孫劍老師的Deep Residual Network。Q：您如何看待類腦計算的研究，或者說如何看待神經生物學研究對深度學習研究的啟發意義？A：這是一個好問題。我一直認為神經生物學對計算機視覺具有重要的啟發意義，但是這個領域的發展卻并沒有我們想象中的那么快。首先，我個人很欣賞神經生物學模型對計算機視覺計算模型的啟發。我們有一個未發表的工作是把圖像分類的過程看成一個偏微分方程求解的過程。大腦里面看到一副圖像，并不是由一個單純的前向傳遞過程來最后輸出類別是牛或者馬。生物的信號傳導是一個連續的過程，在識別過程中存在反饋機制，我們的工作正是要在物體識別的過程中引入反饋機制。遺憾的是，當我們把偏微分方程時序上離散化求解之后，會等價于一個前向網絡，有點類似recurrent neural network。所以雖然這個工作的Motivation很好，但是最后求解依舊還是會等價于一個前向網絡，反饋變成了另外一種層面上的前向計算。A：我認為是無監督學習和自學習。應該說，無監督學習的進展非常糟糕。即便是最近非常火的對抗性訓練，也并不是所有問題都適用，比如人臉識別就依舊還依賴于監督學習。針對無監督學習這個問題，我最近的一個假設是人最初的認知過程是通過運動來獲得的。據說Baby開始的時候像青蛙一樣，只能看到動的物體。最近我和合作者投稿PAMI的工作Learning to Segment Human by Watching Videos就嘗試從video中進行無監督學習，利用motion segmentation進行分割，形成物體的概念，這些是同一個物體。人可能是從運動中逐步形成物體的概念的。因此要想進行無監督學習，可以從運動開始。另外一個就是自學習。我在這方面的一個代表性工作是Baby Learning。只需要少量的標注樣本，也就是小樣本學習，然后再做自學習。Baby Learning做了三年，最后終于做出來了，因為我堅信這個是對的。第一次投稿CVPR，六個AC開會斃掉了我們的文章，原因是題目可能會引發誤解，Baby不一定真的是這樣學習的。第二次改了名字，叫Towards Computational Baby Learning，最后被ICCV2015錄用，但是遺憾的是錯過了時機沒有拿到Oral。我目前的努力方向是把無監督學習和自學習結合起來。我想只要扎進去研究，不管外邊怎么說，一定可以做出很棒的工作。致謝：深度大講堂微信公眾號在此感謝雷鋒網給予了本屆CCF-GAIR贈票，并且對對采訪工作進行了大力的支持，同時也感謝CCF-GAIR大會的組織者雷鋒網的辛苦奉獻，組織了一場高質量的人工智能盛會。此外，感謝紫牛基金尚靜和獵豹機器人蔣超共同參與了對360首席科學家顏水成博士的采訪。閱讀記錄:read twice