http://bbs.sciencenet.cn/home.php?mod=space&uid=593593&do=blog&id=464505
CVPR 2010 的 best paper "Efficient Computation of Robust Low-Rank Matrix Approximations in the Presence of Missing Data using the L1 Norm" 的作者來自于澳大利亞一個做機器視覺著名的小組,前不久該文作者來訪,做了個報告,對他們小組的工作有了進一步的了解。
恰好今年本人翻譯了這篇文章,于是放上來共享(原文和翻譯文都在附件中)。
以下談一下這篇文章的讀后感:
近些年來,由于SPARCE類的方法在模式識別,計算機視覺鄰域的應用,各種有關L1 norm的優化問題被提出,應用的手段也層出不窮,毫不夸張的說,帶動了一波灌水的狂潮(當然PR和CV時時都是大水區)。
那么,這篇文章為什么能夠得到CVPR best paper? 其實我也不知道,因為這個不是我評的。因此本人只基于經驗分析一下該文章的值得注意的地方吧,即算是管中窺豹而已。(因為不是具體論述問題,只是心得,因此以下可能有不嚴謹的地方,見諒)
首先,這篇文章和時下流行的灌水題材L1相關,問題也很明確,在目標函數為L1 norm誤差下Low-Rank Matrix逼近。關于L1 norm的求解的文章如同過江之鯽,但是這篇文章,從標題上就可以看出,是“in the Presence of Missing Data”,這是個值得注意的地方,因為Missing Data是在具體問題中所不可避免的,和作者的工作相關,因此該文章并非是為了灌水而灌水,而是做了工作,一不小心得了個灌水獎。這一點與很多人用“要你命三千”的方式拼湊方法,然后“偽分析”一頓來灌水是天壤之別,云泥之判。
具體到方法,該作者實際上是把Wiberg的方法“改造”到了L1 norm下。因為Wiberg的方法只適用于L2范數下,該作者巧妙地通過一系列的形式上的運算,變成對偶的線性規劃問題,然后進行計算求解。作者提出的這個算法屬于迭代求解,每一步都是線性規劃的迭代。其實作者在文章中也提到了,Wiberg方法并不被重視,過去多少年都幾乎沒人注意,而作者卻能夠慧眼識珠,中間的原因是什么呢?還是如上一段講到的,首先作者是從事其領域多年,有深入的見解,知道問題的所在,于是對于任何方法能夠站在自己的角度上審視,是否能“楚才晉用”,這一點和別人滿世界的找新方法用在自己領域然后灌水,有本質的不同。再者,作者對于wiberg方法有深入的認識,一般的人即是看到該方法,或淺嘗輒止,因為畢竟不能夠直接的運用,而本文的作者卻架起一座橋梁,把wiberg方法移花接木到L1 norm下面并,并取得良好的效果,這和機械拼湊方法境界完全不一樣。可見,基礎扎實,善于思考也是很重要的。
由于聽過作者的報告,雖然我不是做增強現實的,但對他的報告印象很深,他們的工作做得十分踏實,圍繞著增強現實的各種問題都有不錯的工作,本文的研究正是他們工作的產物,從文章中論述的問題來看,幾點都切中要害,首先是有missing Data,然后是說L2 norm下對outlier的敏感等等。雖然該文章論述的是L1 norm目標函數求解,但是作者并沒有像很多人一樣,動不動搬一些“sparce”之類的名詞出來顯示其所站高度,也沒有牽強的說他的問題符合某某假設,所以用某某方法是好的云云,而是盡可能的照顧讀者,讓讀者了解這個工作有啥意義,為啥要這么做,這么做有什么問題等。
作為一個迭代的方法,作者毫不掩飾的說這個還沒能證明一定收斂(當然很多迭代方法難以證明其收斂),但是實驗數據盡可能給出詳細,全面的結果,不僅比較了在人造數據集上的結果,還比較了在真實數據集(重構恐龍模型)上的結果,同時也給出了每次迭代運行時間的比較,收斂的誤差比較等等。且使用的數據集都是比較常見的,為大眾認可的。
綜合看來,這個文章的優點是切中實際需求,具有較好的創新型以及較為可信的實驗結果。對于一般的人來講,往往是知道問題的形式,然后找方法來解決,然后通過修飾數據,或者只比較某些指標,或者在實驗中限定對自己有利的環境等等來發文章,這種情況的產生當然和外部的壓力,環境,所從事的方向有關,但是見微知著,從這篇文章里面可以獲得些許啟發,不一定是搞科研,思考其他的問題同樣有所裨益。
附件:
翻譯.pdf
robustl1_eriksson.pdf