http://mp.weixin.qq.com/s?__biz=MzI1NTE4NTUwOQ==&mid=2650325320&idx=1&sn=46bf96254385ac5dc98c483652fe281c&scene=1&srcid=0819trUwvVTJixa2vTpUJ4dd&from=groupmessage&isappinstalled=0#wechat_redirect
摘要

2016年8月12、13日深圳CCF-GAIR大會(huì)期間，深度學(xué)習(xí)大講堂采訪了南京大學(xué)周志華教授和360首席科學(xué)家顏水成博士，就深度學(xué)習(xí)的應(yīng)用、與經(jīng)典機(jī)器學(xué)習(xí)技術(shù)的關(guān)系、來(lái)自神經(jīng)科學(xué)研究的啟發(fā)、深度學(xué)習(xí)的未來(lái)發(fā)展等問(wèn)題進(jìn)行了深入探討。

導(dǎo)讀

CCF-GAIR全球人工智能與機(jī)器人峰會(huì)由中國(guó)計(jì)算機(jī)學(xué)會(huì)主辦，雷鋒網(wǎng)承辦，深圳市政府指導(dǎo)。多達(dá)1500人參與了本屆CCF-GAIR大會(huì)，他們是人工智能、機(jī)器人、智能駕駛等領(lǐng)域的從業(yè)者、研究者和各路科技媒體。

深度學(xué)習(xí)是目前人工智能領(lǐng)域一個(gè)最熱門(mén)的主題，本次CCF-GAIR大會(huì)期間，深度學(xué)習(xí)大講堂作為特邀技術(shù)媒體在大會(huì)期間采訪了南京大學(xué)周志華教授和360首席科學(xué)家顏水成博士，訪談內(nèi)容涵蓋深度學(xué)習(xí)的應(yīng)用、深度學(xué)習(xí)與經(jīng)典機(jī)器學(xué)習(xí)技術(shù)的關(guān)系、神經(jīng)科學(xué)研究對(duì)深度學(xué)習(xí)的啟發(fā)意義、深度學(xué)習(xí)的未來(lái)發(fā)展等深度技術(shù)問(wèn)題。

對(duì)話南京大學(xué)周志華教授

背景介紹：

周志華，男，1973年11月生。現(xiàn)任南京大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系副主任、南京大學(xué)計(jì)算機(jī)軟件新技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室常務(wù)副主任、機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘研究所 (LAMDA) 所長(zhǎng)，校、系學(xué)術(shù)委員會(huì)委員。國(guó)際計(jì)算機(jī)學(xué)會(huì)(ACM) 杰出科學(xué)家，國(guó)際人工智能學(xué)會(huì) (AAAI) 、國(guó)際電氣電子工程師學(xué)會(huì) (IEEE) 、國(guó)際模式識(shí)別學(xué)會(huì) (IAPR)、國(guó)際工程技術(shù)學(xué)會(huì) (IET/IEE)、中國(guó)計(jì)算機(jī)學(xué)會(huì) 等學(xué)會(huì)的會(huì)士 (Fellow)。主要從事人工智能、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、模式識(shí)別等領(lǐng)域的研究工作。主持多項(xiàng)科研課題，出版英文著作一部，主編文集多部，獲發(fā)明專(zhuān)利十余項(xiàng)，在一流國(guó)際期刊和頂級(jí)國(guó)際會(huì)議發(fā)表論文百余篇，被引用萬(wàn)余次。
圖1. 周志華老師轉(zhuǎn)發(fā)的專(zhuān)業(yè)深度學(xué)習(xí)調(diào)試的網(wǎng)圖

在微博上，周志華教授一貫言辭犀利又不失風(fēng)趣。例如周老師層轉(zhuǎn)發(fā)過(guò)圖1名為專(zhuān)業(yè)深度學(xué)習(xí)調(diào)試的網(wǎng)圖。周老師還配了一個(gè)犀利旁白“有點(diǎn)幽默，但很樸實(shí)：深度學(xué)習(xí)現(xiàn)在差不多就是民工活。調(diào)來(lái)調(diào)去，刷來(lái)刷去，文章發(fā)得飛快，貌似熱鬧，但有多少是能積淀下來(lái)的實(shí)質(zhì)真進(jìn)展，又有多少是換個(gè)數(shù)據(jù)就不靠譜了的蒙事撞大運(yùn)？何曾見(jiàn)過(guò)調(diào)試SVM核函數(shù)3元一個(gè)？既缺乏清澈干凈的內(nèi)在美感，再不致力于去偽存真正本清源，只圖熱鬧好看，遲早把a(bǔ)rXiv變成廢紙堆”。

此微博一出，立刻在社交網(wǎng)絡(luò)上引發(fā)了熱議，既有擁躉的轉(zhuǎn)發(fā)呼應(yīng)，也有反對(duì)者的犀利評(píng)論。周志華教授最后總結(jié)發(fā)言是“深度學(xué)習(xí)本身有很多重要的問(wèn)題值得研究。年輕學(xué)生還是要盡量讓自己沉靜下來(lái)，多思考些深入的問(wèn)題，不要急，否則浮幾年下來(lái)就沒(méi)根了。嚴(yán)肅的機(jī)器學(xué)習(xí)研究不是靠調(diào)參刷分”。

社交網(wǎng)絡(luò)上的周志華教授保持著對(duì)深度學(xué)習(xí)的冷靜觀察和批判性思考，那么周志華教授如何看待自己學(xué)術(shù)成果的實(shí)際應(yīng)用，如何看待深度學(xué)習(xí)與經(jīng)典機(jī)器學(xué)習(xí)方法的關(guān)系，又對(duì)深度學(xué)習(xí)存在的問(wèn)題做了哪些思考，請(qǐng)看下面的訪談。
圖2. 周志華教授采訪照

Q: 您在過(guò)去二十年中一直從事機(jī)器學(xué)習(xí)理論研究，比如多示例學(xué)習(xí)和集成學(xué)習(xí)，除了理論研究之外，您的工作成果有哪些實(shí)際中的應(yīng)用？
A：計(jì)算機(jī)科學(xué)是一個(gè)應(yīng)用驅(qū)動(dòng)的學(xué)科，中國(guó)幾乎所有大一點(diǎn)的互聯(lián)網(wǎng)公司、通訊公司，甚至包括一些跨國(guó)的企業(yè)，都和我們有合作。機(jī)器學(xué)習(xí)不是做一個(gè)具體的事情，而是在一些數(shù)據(jù)分析的任務(wù)中，遇到一些困難的問(wèn)題，是用現(xiàn)成的技術(shù)解決不了的，我們會(huì)設(shè)計(jì)提供解決方案。用戶往往看到的只是例如防火墻、金融理財(cái)產(chǎn)品，但是背后的數(shù)據(jù)分析問(wèn)題是可以由我們來(lái)利用機(jī)器學(xué)習(xí)技術(shù)解決的。

Q：您如何看待深度學(xué)習(xí)的進(jìn)展對(duì)經(jīng)典機(jī)器學(xué)習(xí)方法的啟發(fā)意義？
A： 機(jī)器學(xué)習(xí)中很多方法都是相同的，所謂深度學(xué)習(xí)，可以把它看成一種語(yǔ)言。深度學(xué)習(xí)并不是與過(guò)去的方法截然不同的，而是一種描述方式。深度學(xué)習(xí)中融入了很多以往的機(jī)器學(xué)習(xí)方法的機(jī)理，也融合了很多過(guò)去的方法，包括一些共性的理論問(wèn)題也都是一樣的。

Q：您如何看待在深度學(xué)習(xí)應(yīng)用過(guò)程中“性能不夠、加層來(lái)湊”的說(shuō)法？
A：這個(gè)看法其實(shí)不是很對(duì)。增加了層數(shù)，不是說(shuō)學(xué)習(xí)性能一定會(huì)變好。層數(shù)增加使得模型的復(fù)雜度更高，可以吃下去更多的數(shù)據(jù)，但是性能不一定會(huì)變好。比如一個(gè)問(wèn)題本來(lái)只需要100層的網(wǎng)絡(luò)，如果做到120層性能反而可能會(huì)變壞。

Q：是不是意味著模型復(fù)雜度要和樣本復(fù)雜度匹配？
A：要恰當(dāng)?shù)暮茫^(guò)猶不及。

Q：是否有量化評(píng)價(jià)深度網(wǎng)絡(luò)復(fù)雜度的方法？
A：復(fù)雜度的評(píng)價(jià)是有方法的，可以從參數(shù)的數(shù)目、學(xué)習(xí)理論的角度來(lái)做。但是神經(jīng)網(wǎng)絡(luò)的機(jī)理，其中有很多trick, 許多啟發(fā)式的試錯(cuò)的做法。很多人去試，試出了很多不錯(cuò)的做法。做應(yīng)用的門(mén)檻相對(duì)低，甚至培訓(xùn)幾個(gè)星期就可以做。但是做理論有很高的門(mén)檻，需要多年的培養(yǎng)。現(xiàn)在雖然試出很多的方法，但是沒(méi)有足夠多的做理論的人一個(gè)個(gè)去分析。一定要找到共性的東西，才能做理論分析。現(xiàn)在的問(wèn)題是，大家都盲目的去試，最后都報(bào)告出來(lái)很有用，理論分析就跟不上了。

Q：用一句話來(lái)贊美或者批判深度學(xué)習(xí)？
A：其實(shí)，既不用贊美也不用批評(píng)深度學(xué)習(xí)，這是一個(gè)很自然的技術(shù)發(fā)展過(guò)程。機(jī)器學(xué)習(xí)每過(guò)五年、十年，就會(huì)有一種新的技術(shù)在當(dāng)時(shí)變得非常流行。比如說(shuō)90年代的統(tǒng)計(jì)學(xué)習(xí)，2000年的概率圖模型以及2010年以來(lái)的深度學(xué)習(xí)。

Q：深度學(xué)習(xí)目前最大的問(wèn)題是什么
A：我認(rèn)為目前深度學(xué)習(xí)領(lǐng)域中最大的問(wèn)題是理論的研究沒(méi)有跟上，很多的技術(shù)大家都只是在嘗試，缺乏比較嚴(yán)格的理論分析。

對(duì)話360首席科學(xué)家顏水成博士

背景介紹：

顏水成博士，360 首席科學(xué)家，360 人工智能研究院院長(zhǎng)。曾在新加坡國(guó)立大學(xué)領(lǐng)導(dǎo)機(jī)器學(xué)習(xí)與計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室。顏水成博士的主要研究領(lǐng)域是計(jì)算機(jī)視覺(jué)，深度學(xué)習(xí)與多媒體分析。他的團(tuán)隊(duì)在五年內(nèi)曾7次問(wèn)鼎計(jì)算機(jī)視覺(jué)領(lǐng)域頂級(jí)競(jìng)賽PASCAL VOC 和 ILSVRC的世界冠軍和亞軍獎(jiǎng)項(xiàng)。他的團(tuán)隊(duì)所提出的“Network in Network” 對(duì)深度學(xué)習(xí)產(chǎn)生了很大的推動(dòng)力，曾被Google在深度學(xué)習(xí)領(lǐng)域的代表性工作GoogLeNet引用并進(jìn)一步發(fā)展為Inception結(jié)構(gòu)。2015年，顏水成博士從新加坡國(guó)立大學(xué)離職，全職加入360，完成了從工業(yè)界到學(xué)術(shù)界的華麗轉(zhuǎn)身。

作為一個(gè)互聯(lián)網(wǎng)公司人工智能研究院的領(lǐng)軍人物，顏水成博士的研究自然離不開(kāi)深度學(xué)習(xí)的落地。那么顏水成博士如何看待深度學(xué)習(xí)在學(xué)術(shù)界的火爆？最滿意的工作什么?對(duì)深度學(xué)習(xí)的未來(lái)發(fā)展有哪些前瞻性的判斷?請(qǐng)看下面的訪談。
圖3. 顏水成博士采訪照

Q：如何看待深度學(xué)習(xí)在工業(yè)界的火爆？
A：深度學(xué)習(xí)帶來(lái)的諸多變化，起因是在視覺(jué)分析、語(yǔ)音識(shí)別等任務(wù)中的深度學(xué)習(xí)技術(shù)所達(dá)到的性能超過(guò)了商業(yè)應(yīng)用最低的bound。例如，在深度學(xué)習(xí)出現(xiàn)之前，已經(jīng)有人臉識(shí)別的研究，比如嵌入式設(shè)備上的人臉檢測(cè)、識(shí)別技術(shù)，但是總體上沒(méi)有達(dá)到很多工業(yè)級(jí)場(chǎng)景中定義的最低性能需求。近幾年來(lái)深度學(xué)習(xí)與人臉識(shí)別的結(jié)合則徹底改變了這一現(xiàn)狀。以我之前在新加坡國(guó)立大學(xué)計(jì)算機(jī)視覺(jué)與學(xué)習(xí)研究組的例子，我們做了三年P(guān)ascal VOC, 每年性能上漲只有不到兩個(gè)點(diǎn)。但是在2012年的ImageNet競(jìng)賽中，基于深度學(xué)習(xí)的AlexNet的結(jié)果比上一年的最好方法的top-5錯(cuò)誤率下降了10個(gè)百分點(diǎn)以上。

Q：為了實(shí)現(xiàn)端上的智能，深度學(xué)習(xí)算法需要做什么改進(jìn)？
A： 實(shí)現(xiàn)端上的智能，一個(gè)重要的前提是需要考慮終端設(shè)備的運(yùn)算能力的限制（由于智能設(shè)備對(duì)成本非常敏感，大多數(shù)情況下對(duì)CPU芯片的計(jì)算速度有限制）。深度學(xué)習(xí)算法的計(jì)算量普遍較高，解決這個(gè)問(wèn)題，主要思路有兩個(gè)：
1. 重新定義網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計(jì)小的和特殊的網(wǎng)絡(luò)，例如Network in Network。
2. 設(shè)計(jì)新的計(jì)算模型，在精度不降低的情況下，降低計(jì)算量。例如，我們目前在做的一個(gè)工作，用一個(gè)小網(wǎng)絡(luò)去預(yù)測(cè)卷積運(yùn)算哪些位置不用算，類(lèi)似于attention機(jī)制。這種做法可以稱(chēng)之為More is less, 雖然網(wǎng)絡(luò)結(jié)構(gòu)變復(fù)雜了，但是計(jì)算量減少了。

Q：對(duì)于您在深度學(xué)習(xí)領(lǐng)域中眾多的工作，哪一項(xiàng)是您自己最滿意的？
A：我個(gè)人最滿意的工作是Network in Network。我經(jīng)常和學(xué)生說(shuō)，如果一年能做出一個(gè)工作，類(lèi)似1x1的卷積核這樣，成為深度網(wǎng)絡(luò)中的一個(gè)標(biāo)準(zhǔn)結(jié)構(gòu)，是非常有價(jià)值的。

Q：對(duì)于深度學(xué)習(xí)領(lǐng)域的其它工作，您最欣賞的是哪一個(gè)？
A：孫劍老師的Deep Residual Network。

Q：您如何看待類(lèi)腦計(jì)算的研究，或者說(shuō)如何看待神經(jīng)生物學(xué)研究對(duì)深度學(xué)習(xí)研究的啟發(fā)意義？
A：這是一個(gè)好問(wèn)題。我一直認(rèn)為神經(jīng)生物學(xué)對(duì)計(jì)算機(jī)視覺(jué)具有重要的啟發(fā)意義，但是這個(gè)領(lǐng)域的發(fā)展卻并沒(méi)有我們想象中的那么快。首先，我個(gè)人很欣賞神經(jīng)生物學(xué)模型對(duì)計(jì)算機(jī)視覺(jué)計(jì)算模型的啟發(fā)。我們有一個(gè)未發(fā)表的工作是把圖像分類(lèi)的過(guò)程看成一個(gè)偏微分方程求解的過(guò)程。大腦里面看到一副圖像，并不是由一個(gè)單純的前向傳遞過(guò)程來(lái)最后輸出類(lèi)別是牛或者馬。生物的信號(hào)傳導(dǎo)是一個(gè)連續(xù)的過(guò)程，在識(shí)別過(guò)程中存在反饋機(jī)制，我們的工作正是要在物體識(shí)別的過(guò)程中引入反饋機(jī)制。遺憾的是，當(dāng)我們把偏微分方程時(shí)序上離散化求解之后，會(huì)等價(jià)于一個(gè)前向網(wǎng)絡(luò)，有點(diǎn)類(lèi)似recurrent neural network。所以雖然這個(gè)工作的Motivation很好，但是最后求解依舊還是會(huì)等價(jià)于一個(gè)前向網(wǎng)絡(luò)，反饋?zhàn)兂闪肆硗庖环N層面上的前向計(jì)算。

Q：您如何看待深度學(xué)習(xí)在學(xué)術(shù)上的發(fā)展方向？
A：我認(rèn)為是無(wú)監(jiān)督學(xué)習(xí)和自學(xué)習(xí)。應(yīng)該說(shuō)，無(wú)監(jiān)督學(xué)習(xí)的進(jìn)展非常糟糕。即便是最近非常火的對(duì)抗性訓(xùn)練，也并不是所有問(wèn)題都適用，比如人臉識(shí)別就依舊還依賴于監(jiān)督學(xué)習(xí)。針對(duì)無(wú)監(jiān)督學(xué)習(xí)這個(gè)問(wèn)題，我最近的一個(gè)假設(shè)是人最初的認(rèn)知過(guò)程是通過(guò)運(yùn)動(dòng)來(lái)獲得的。據(jù)說(shuō)Baby開(kāi)始的時(shí)候像青蛙一樣，只能看到動(dòng)的物體。最近我和合作者投稿PAMI的工作Learning to Segment Human by Watching Videos就嘗試從video中進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，利用motion segmentation進(jìn)行分割，形成物體的概念，這些是同一個(gè)物體。人可能是從運(yùn)動(dòng)中逐步形成物體的概念的。因此要想進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，可以從運(yùn)動(dòng)開(kāi)始。

另外一個(gè)就是自學(xué)習(xí)。我在這方面的一個(gè)代表性工作是Baby Learning。只需要少量的標(biāo)注樣本，也就是小樣本學(xué)習(xí)，然后再做自學(xué)習(xí)。Baby Learning做了三年，最后終于做出來(lái)了，因?yàn)槲覉?jiān)信這個(gè)是對(duì)的。第一次投稿CVPR，六個(gè)AC開(kāi)會(huì)斃掉了我們的文章，原因是題目可能會(huì)引發(fā)誤解，Baby不一定真的是這樣學(xué)習(xí)的。第二次改了名字，叫Towards Computational Baby Learning，最后被ICCV2015錄用，但是遺憾的是錯(cuò)過(guò)了時(shí)機(jī)沒(méi)有拿到Oral。

我目前的努力方向是把無(wú)監(jiān)督學(xué)習(xí)和自學(xué)習(xí)結(jié)合起來(lái)。我想只要扎進(jìn)去研究，不管外邊怎么說(shuō)，一定可以做出很棒的工作。


致謝：深度大講堂微信公眾號(hào)在此感謝雷鋒網(wǎng)給予了本屆CCF-GAIR贈(zèng)票，并且對(duì)對(duì)采訪工作進(jìn)行了大力的支持，同時(shí)也感謝CCF-GAIR大會(huì)的組織者雷鋒網(wǎng)的辛苦奉獻(xiàn)，組織了一場(chǎng)高質(zhì)量的人工智能盛會(huì)。此外，感謝紫牛基金尚靜和獵豹機(jī)器人蔣超共同參與了對(duì)360首席科學(xué)家顏水成博士的采訪。
閱讀記錄:read twice