http://mp.weixin.qq.com/s?__biz=MzI1NTE4NTUwOQ==&mid=2650325320&idx=1&sn=46bf96254385ac5dc98c483652fe281c&scene=1&srcid=0819trUwvVTJixa2vTpUJ4dd&from=groupmessage&isappinstalled=0#wechat_redirect
2016年8月12、13日深圳CCF-GAIR大會期間，深度學(xué)習(xí)大講堂采訪了南京大學(xué)周志華教授和360首席科學(xué)家顏水成博士，就深度學(xué)習(xí)的應(yīng)用、與經(jīng)典機(jī)器學(xué)習(xí)技術(shù)的關(guān)系、來自神經(jīng)科學(xué)研究的啟發(fā)、深度學(xué)習(xí)的未來發(fā)展等問題進(jìn)行了深入探討。CCF-GAIR全球人工智能與機(jī)器人峰會由中國計算機(jī)學(xué)會主辦，雷鋒網(wǎng)承辦，深圳市政府指導(dǎo)。多達(dá)1500人參與了本屆CCF-GAIR大會，他們是人工智能、機(jī)器人、智能駕駛等領(lǐng)域的從業(yè)者、研究者和各路科技媒體。深度學(xué)習(xí)是目前人工智能領(lǐng)域一個最熱門的主題，本次CCF-GAIR大會期間，深度學(xué)習(xí)大講堂作為特邀技術(shù)媒體在大會期間采訪了南京大學(xué)周志華教授和360首席科學(xué)家顏水成博士，訪談內(nèi)容涵蓋深度學(xué)習(xí)的應(yīng)用、深度學(xué)習(xí)與經(jīng)典機(jī)器學(xué)習(xí)技術(shù)的關(guān)系、神經(jīng)科學(xué)研究對深度學(xué)習(xí)的啟發(fā)意義、深度學(xué)習(xí)的未來發(fā)展等深度技術(shù)問題。周志華，男，1973年11月生。現(xiàn)任南京大學(xué)計算機(jī)科學(xué)與技術(shù)系副主任、南京大學(xué)計算機(jī)軟件新技術(shù)國家重點(diǎn)實(shí)驗(yàn)室常務(wù)副主任、機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘研究所 (LAMDA) 所長，校、系學(xué)術(shù)委員會委員。國際計算機(jī)學(xué)會(ACM) 杰出科學(xué)家，國際人工智能學(xué)會 (AAAI) 、國際電氣電子工程師學(xué)會 (IEEE) 、國際模式識別學(xué)會 (IAPR)、國際工程技術(shù)學(xué)會 (IET/IEE)、中國計算機(jī)學(xué)會 等學(xué)會的會士 (Fellow)。主要從事人工智能、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、模式識別等領(lǐng)域的研究工作。主持多項科研課題，出版英文著作一部，主編文集多部，獲發(fā)明專利十余項，在一流國際期刊和頂級國際會議發(fā)表論文百余篇，被引用萬余次。
圖1. 周志華老師轉(zhuǎn)發(fā)的專業(yè)深度學(xué)習(xí)調(diào)試的網(wǎng)圖在微博上，周志華教授一貫言辭犀利又不失風(fēng)趣。例如周老師層轉(zhuǎn)發(fā)過圖1名為專業(yè)深度學(xué)習(xí)調(diào)試的網(wǎng)圖。周老師還配了一個犀利旁白“有點(diǎn)幽默，但很樸實(shí)：深度學(xué)習(xí)現(xiàn)在差不多就是民工活。調(diào)來調(diào)去，刷來刷去，文章發(fā)得飛快，貌似熱鬧，但有多少是能積淀下來的實(shí)質(zhì)真進(jìn)展，又有多少是換個數(shù)據(jù)就不靠譜了的蒙事撞大運(yùn)？何曾見過調(diào)試SVM核函數(shù)3元一個？既缺乏清澈干凈的內(nèi)在美感，再不致力于去偽存真正本清源，只圖熱鬧好看，遲早把a(bǔ)rXiv變成廢紙堆”。此微博一出，立刻在社交網(wǎng)絡(luò)上引發(fā)了熱議，既有擁躉的轉(zhuǎn)發(fā)呼應(yīng)，也有反對者的犀利評論。周志華教授最后總結(jié)發(fā)言是“深度學(xué)習(xí)本身有很多重要的問題值得研究。年輕學(xué)生還是要盡量讓自己沉靜下來，多思考些深入的問題，不要急，否則浮幾年下來就沒根了。嚴(yán)肅的機(jī)器學(xué)習(xí)研究不是靠調(diào)參刷分”。社交網(wǎng)絡(luò)上的周志華教授保持著對深度學(xué)習(xí)的冷靜觀察和批判性思考，那么周志華教授如何看待自己學(xué)術(shù)成果的實(shí)際應(yīng)用，如何看待深度學(xué)習(xí)與經(jīng)典機(jī)器學(xué)習(xí)方法的關(guān)系，又對深度學(xué)習(xí)存在的問題做了哪些思考，請看下面的訪談。Q: 您在過去二十年中一直從事機(jī)器學(xué)習(xí)理論研究，比如多示例學(xué)習(xí)和集成學(xué)習(xí)，除了理論研究之外，您的工作成果有哪些實(shí)際中的應(yīng)用？A：計算機(jī)科學(xué)是一個應(yīng)用驅(qū)動的學(xué)科，中國幾乎所有大一點(diǎn)的互聯(lián)網(wǎng)公司、通訊公司，甚至包括一些跨國的企業(yè)，都和我們有合作。機(jī)器學(xué)習(xí)不是做一個具體的事情，而是在一些數(shù)據(jù)分析的任務(wù)中，遇到一些困難的問題，是用現(xiàn)成的技術(shù)解決不了的，我們會設(shè)計提供解決方案。用戶往往看到的只是例如防火墻、金融理財產(chǎn)品，但是背后的數(shù)據(jù)分析問題是可以由我們來利用機(jī)器學(xué)習(xí)技術(shù)解決的。Q：您如何看待深度學(xué)習(xí)的進(jìn)展對經(jīng)典機(jī)器學(xué)習(xí)方法的啟發(fā)意義？A： 機(jī)器學(xué)習(xí)中很多方法都是相同的，所謂深度學(xué)習(xí)，可以把它看成一種語言。深度學(xué)習(xí)并不是與過去的方法截然不同的，而是一種描述方式。深度學(xué)習(xí)中融入了很多以往的機(jī)器學(xué)習(xí)方法的機(jī)理，也融合了很多過去的方法，包括一些共性的理論問題也都是一樣的。Q：您如何看待在深度學(xué)習(xí)應(yīng)用過程中“性能不夠、加層來湊”的說法？A：這個看法其實(shí)不是很對。增加了層數(shù)，不是說學(xué)習(xí)性能一定會變好。層數(shù)增加使得模型的復(fù)雜度更高，可以吃下去更多的數(shù)據(jù)，但是性能不一定會變好。比如一個問題本來只需要100層的網(wǎng)絡(luò)，如果做到120層性能反而可能會變壞。Q：是不是意味著模型復(fù)雜度要和樣本復(fù)雜度匹配？Q：是否有量化評價深度網(wǎng)絡(luò)復(fù)雜度的方法？A：復(fù)雜度的評價是有方法的，可以從參數(shù)的數(shù)目、學(xué)習(xí)理論的角度來做。但是神經(jīng)網(wǎng)絡(luò)的機(jī)理，其中有很多trick, 許多啟發(fā)式的試錯的做法。很多人去試，試出了很多不錯的做法。做應(yīng)用的門檻相對低，甚至培訓(xùn)幾個星期就可以做。但是做理論有很高的門檻，需要多年的培養(yǎng)。現(xiàn)在雖然試出很多的方法，但是沒有足夠多的做理論的人一個個去分析。一定要找到共性的東西，才能做理論分析。現(xiàn)在的問題是，大家都盲目的去試，最后都報告出來很有用，理論分析就跟不上了。Q：用一句話來贊美或者批判深度學(xué)習(xí)？A：其實(shí)，既不用贊美也不用批評深度學(xué)習(xí)，這是一個很自然的技術(shù)發(fā)展過程。機(jī)器學(xué)習(xí)每過五年、十年，就會有一種新的技術(shù)在當(dāng)時變得非常流行。比如說90年代的統(tǒng)計學(xué)習(xí)，2000年的概率圖模型以及2010年以來的深度學(xué)習(xí)。Q：深度學(xué)習(xí)目前最大的問題是什么A：我認(rèn)為目前深度學(xué)習(xí)領(lǐng)域中最大的問題是理論的研究沒有跟上，很多的技術(shù)大家都只是在嘗試，缺乏比較嚴(yán)格的理論分析。顏水成博士，360 首席科學(xué)家，360 人工智能研究院院長。曾在新加坡國立大學(xué)領(lǐng)導(dǎo)機(jī)器學(xué)習(xí)與計算機(jī)視覺實(shí)驗(yàn)室。顏水成博士的主要研究領(lǐng)域是計算機(jī)視覺，深度學(xué)習(xí)與多媒體分析。他的團(tuán)隊在五年內(nèi)曾7次問鼎計算機(jī)視覺領(lǐng)域頂級競賽PASCAL VOC 和 ILSVRC的世界冠軍和亞軍獎項。他的團(tuán)隊所提出的“Network in Network” 對深度學(xué)習(xí)產(chǎn)生了很大的推動力，曾被Google在深度學(xué)習(xí)領(lǐng)域的代表性工作GoogLeNet引用并進(jìn)一步發(fā)展為Inception結(jié)構(gòu)。2015年，顏水成博士從新加坡國立大學(xué)離職，全職加入360，完成了從工業(yè)界到學(xué)術(shù)界的華麗轉(zhuǎn)身。作為一個互聯(lián)網(wǎng)公司人工智能研究院的領(lǐng)軍人物，顏水成博士的研究自然離不開深度學(xué)習(xí)的落地。那么顏水成博士如何看待深度學(xué)習(xí)在學(xué)術(shù)界的火爆？最滿意的工作什么?對深度學(xué)習(xí)的未來發(fā)展有哪些前瞻性的判斷?請看下面的訪談。Q：如何看待深度學(xué)習(xí)在工業(yè)界的火爆？A：深度學(xué)習(xí)帶來的諸多變化，起因是在視覺分析、語音識別等任務(wù)中的深度學(xué)習(xí)技術(shù)所達(dá)到的性能超過了商業(yè)應(yīng)用最低的bound。例如，在深度學(xué)習(xí)出現(xiàn)之前，已經(jīng)有人臉識別的研究，比如嵌入式設(shè)備上的人臉檢測、識別技術(shù)，但是總體上沒有達(dá)到很多工業(yè)級場景中定義的最低性能需求。近幾年來深度學(xué)習(xí)與人臉識別的結(jié)合則徹底改變了這一現(xiàn)狀。以我之前在新加坡國立大學(xué)計算機(jī)視覺與學(xué)習(xí)研究組的例子，我們做了三年P(guān)ascal VOC, 每年性能上漲只有不到兩個點(diǎn)。但是在2012年的ImageNet競賽中，基于深度學(xué)習(xí)的AlexNet的結(jié)果比上一年的最好方法的top-5錯誤率下降了10個百分點(diǎn)以上。Q：為了實(shí)現(xiàn)端上的智能，深度學(xué)習(xí)算法需要做什么改進(jìn)？A： 實(shí)現(xiàn)端上的智能，一個重要的前提是需要考慮終端設(shè)備的運(yùn)算能力的限制（由于智能設(shè)備對成本非常敏感，大多數(shù)情況下對CPU芯片的計算速度有限制）。深度學(xué)習(xí)算法的計算量普遍較高，解決這個問題，主要思路有兩個：1. 重新定義網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計小的和特殊的網(wǎng)絡(luò)，例如Network in Network。2. 設(shè)計新的計算模型，在精度不降低的情況下，降低計算量。例如，我們目前在做的一個工作，用一個小網(wǎng)絡(luò)去預(yù)測卷積運(yùn)算哪些位置不用算，類似于attention機(jī)制。這種做法可以稱之為More is less, 雖然網(wǎng)絡(luò)結(jié)構(gòu)變復(fù)雜了，但是計算量減少了。Q：對于您在深度學(xué)習(xí)領(lǐng)域中眾多的工作，哪一項是您自己最滿意的？A：我個人最滿意的工作是Network in Network。我經(jīng)常和學(xué)生說，如果一年能做出一個工作，類似1x1的卷積核這樣，成為深度網(wǎng)絡(luò)中的一個標(biāo)準(zhǔn)結(jié)構(gòu)，是非常有價值的。Q：對于深度學(xué)習(xí)領(lǐng)域的其它工作，您最欣賞的是哪一個？A：孫劍老師的Deep Residual Network。Q：您如何看待類腦計算的研究，或者說如何看待神經(jīng)生物學(xué)研究對深度學(xué)習(xí)研究的啟發(fā)意義？A：這是一個好問題。我一直認(rèn)為神經(jīng)生物學(xué)對計算機(jī)視覺具有重要的啟發(fā)意義，但是這個領(lǐng)域的發(fā)展卻并沒有我們想象中的那么快。首先，我個人很欣賞神經(jīng)生物學(xué)模型對計算機(jī)視覺計算模型的啟發(fā)。我們有一個未發(fā)表的工作是把圖像分類的過程看成一個偏微分方程求解的過程。大腦里面看到一副圖像，并不是由一個單純的前向傳遞過程來最后輸出類別是牛或者馬。生物的信號傳導(dǎo)是一個連續(xù)的過程，在識別過程中存在反饋機(jī)制，我們的工作正是要在物體識別的過程中引入反饋機(jī)制。遺憾的是，當(dāng)我們把偏微分方程時序上離散化求解之后，會等價于一個前向網(wǎng)絡(luò)，有點(diǎn)類似recurrent neural network。所以雖然這個工作的Motivation很好，但是最后求解依舊還是會等價于一個前向網(wǎng)絡(luò)，反饋?zhàn)兂闪肆硗庖环N層面上的前向計算。Q：您如何看待深度學(xué)習(xí)在學(xué)術(shù)上的發(fā)展方向？A：我認(rèn)為是無監(jiān)督學(xué)習(xí)和自學(xué)習(xí)。應(yīng)該說，無監(jiān)督學(xué)習(xí)的進(jìn)展非常糟糕。即便是最近非常火的對抗性訓(xùn)練，也并不是所有問題都適用，比如人臉識別就依舊還依賴于監(jiān)督學(xué)習(xí)。針對無監(jiān)督學(xué)習(xí)這個問題，我最近的一個假設(shè)是人最初的認(rèn)知過程是通過運(yùn)動來獲得的。據(jù)說Baby開始的時候像青蛙一樣，只能看到動的物體。最近我和合作者投稿PAMI的工作Learning to Segment Human by Watching Videos就嘗試從video中進(jìn)行無監(jiān)督學(xué)習(xí)，利用motion segmentation進(jìn)行分割，形成物體的概念，這些是同一個物體。人可能是從運(yùn)動中逐步形成物體的概念的。因此要想進(jìn)行無監(jiān)督學(xué)習(xí)，可以從運(yùn)動開始。另外一個就是自學(xué)習(xí)。我在這方面的一個代表性工作是Baby Learning。只需要少量的標(biāo)注樣本，也就是小樣本學(xué)習(xí)，然后再做自學(xué)習(xí)。Baby Learning做了三年，最后終于做出來了，因?yàn)槲覉孕胚@個是對的。第一次投稿CVPR，六個AC開會斃掉了我們的文章，原因是題目可能會引發(fā)誤解，Baby不一定真的是這樣學(xué)習(xí)的。第二次改了名字，叫Towards Computational Baby Learning，最后被ICCV2015錄用，但是遺憾的是錯過了時機(jī)沒有拿到Oral。我目前的努力方向是把無監(jiān)督學(xué)習(xí)和自學(xué)習(xí)結(jié)合起來。我想只要扎進(jìn)去研究，不管外邊怎么說，一定可以做出很棒的工作。致謝：深度大講堂微信公眾號在此感謝雷鋒網(wǎng)給予了本屆CCF-GAIR贈票，并且對對采訪工作進(jìn)行了大力的支持，同時也感謝CCF-GAIR大會的組織者雷鋒網(wǎng)的辛苦奉獻(xiàn)，組織了一場高質(zhì)量的人工智能盛會。此外，感謝紫牛基金尚靜和獵豹機(jī)器人蔣超共同參與了對360首席科學(xué)家顏水成博士的采訪。閱讀記錄:read twice