第一個問題我覺得我無法給出完美的答案,這里搞競賽的牛人蠻多,不妨說說體會:D
我個人覺得算法里面極大一部分內容是如何有效地進行搜索,這里的"有效"可以分為:避免不必要的計算(如A*尋路以及所有的啟發式剪枝),緩存重復計算(如所有的動態規劃)。當然,知道這些跟具體的設計出一個算法至少還有十萬八千里,只能說有了這個大體的思路,就可以從這兩個角度去審視手頭的問題,往往是會有啟發意義的罷了。如何避免不必要的計算?也有很多 rules of thumb 可以遵循,如啟發式剪枝里面就要求去設計一個最優下界,而最一般的思路則是使勁瞅瞅問題里面有什么條件是沒有利用的,這些條件組合起來可以得出什么性質,也許某個性質就能夠被利用來減掉一大堆計算,至于如何從題目條件推出有價值的性質,有兩個辦法,一是試錯(想到的結論都給寫出來,陶哲軒在 Solving Mathematical Problems 里面就提到過這個辦法。);另一個方向則是腦袋里揣著想要實現的目的往反方向歸約。如何緩存重復計算?簡單的動態規劃問題如fibonacci數列計算,其重復計算是非常明顯的,計算的過程本身就指明了哪些計算是重復的(An 項的計算是重復的)——當然,正如早前鄧同學發的一個題目<https://groups.google.com/group/pongba/browse_frm/thread/2ca1f2bda0c8...>里面說的,其實fibonacci數列計算里面的線性變換本身也是有重復計算的——后者便是更隱蔽的重復計算了,一個 non-trivial 的動態規劃問題往往涉及到非常隱蔽的重復計算,或者更難的是,你遍歷組合空間的方式決定了你所能夠緩存的重復計算到底有多少,也許某個遍歷方式之下就沒有辦法去緩存計算。當然,算法的范疇其實是很大的,算法是一個AI-Complete 的問題,所有的 Problem-Solving 過程都可以叫做算法。只是有很多實際當中的算法會掉入以上兩類而已。
第二個問題我舉一個例子:不像很多牛人在高中和本科就競賽獎牌一堆,我直到大四的時候還不知道什么是動態規劃,因為本科四年我一直只對底層技術感興趣,最喜歡看 比如 Petzold 的《編碼的奧秘》和 Richter 的《.NET 框架程序設計》(事實上這是我看的第一本英文原版書)這類書。研一的時候由于方向是自然語言處理,看的第一篇 paper 是 Rabiner 的 A Tutorial on Hidden Markov Models and Selected Applications in Speech
Recognition 。Paper 的內容倒是完全能夠理解,但是理解其實只是第一步,我發現理解了之后很快就忘掉了,這就說明理解得不夠深刻。比如里面的 Viterbi 算法,花了時間去理解,但是一轉頭很快又忘掉了。一年后因為機緣巧合,對算法發生了一段短暫的興趣,并學習了一些基礎的算法,尤其是算法的思想,因為思想是有窮的,但算法是無窮的,尤其是題目是做不完的。之后一段時間,碰巧又需要翻一翻馬可夫模型,搜出吳軍的數學之美以及那篇 Paper ,發現 Viterbi 算法其實就是最簡單的一類動態規劃,由于對于動態規劃的理解深刻了很多,所以對于 Viterbi 算法,在腦袋里面記住的不再是什么 Forward Variable/Backward Variable
之類的技術細節,而是它的本質,于是便不再容易忘掉,而即便忘掉,就如龐加萊所說,也可以非常迅速的將算法的細節自行構建出來。
其實我相信這樣的例子是數不勝數的,所以我這個只是算一個 Yet Another Example ,由于對我來說比較特殊,所以印象較為深刻。
這個例子是關于"理解"的。有時候算法也會非常有用,如有一次寫程序時需要用到 LCS 和 Edit-Distance (這樣的機會很少,但遇到了時如果不知道有多項式復雜度的算法就很悲慘了),而做機器學習和數據挖掘的更是少不了一坨坨的算法,如果光是理解別人的做法然后實現出來,那么對算法的思想的把握有助于理解和記憶;如果需要自己設計算法,那就需要算法基礎知識的輔助才行了。絕大多數人應該屬于前者。
學習到什么程度?我覺得視人群而定。如果做底層開發、應用開發、系統開發,只要知道一個大概就可以了,知道經典的數據結構和算法沒有任何困難,而且反正經典算法都有現成的庫可用。對于有興趣做一點 research 沾邊的事情的人,則需要了解這些算法背后的一般性思路是什么,否則來一個特定的算法你就特定的理解記憶一下,肯定不牢靠,而且浪費大腦資源。對于搞 real deal 的 original research 的那就需要廣泛的知識積累了,光知道一般性思路都不夠。
另一方面,我覺得學完了經典算法,深刻理解了算法背后的一般性思路之后,如果再進一步去玩題目,做題庫。效益卻不是很大的,因為刀磨了是要用的,玩題目做題庫就是進一步磨刀而不用(不去解決實際問題,能夠產生影響力的,或生產力的問題)。實際上做了一些題目之后就完全沒必要進一步做題目了,因為做來做去,拼的基本也就是誰的知識積累多(套路多),誰的耐心大(肯使勁去磨一道題目);實際上誰也不比誰笨,到最后區別就基本上顯露在知識積累和耐心上了。所以接著做,刀也不會磨得更鋒利,更何況大好的時光應該去做點有意義的事情(如果是為了 fun 而做題的,那么有意義的事情同樣也可以是 extremely fun),比如我覺得最吸引人也最根本的問題就是人工智能問題(想想看,人腦是世界上迄今為止所知最為復雜的結構,這個結構具備了認識自然界"規律"的能力,具備了認識"自我"的能力,具備了歸納和演繹推理的能力,類比的能力,具備了難以置信的啟發式搜索能力,具備完美的模式識別能力,而根據進化論的觀點,這樣的結構居然僅僅是通過變異——篩選得來的,如果真有上帝,那么利用上帝賦予我們的大腦去破解上帝這個頂級牛逼程序員寫的程序——人腦的秘密,還有比這更帶勁兒的事情嗎?),所以我覺得有那么好的基礎的牛人,不去直面真正 fundamental 的 problems ,就可惜了,須知題目是永遠做不完的,一個公理系統的定理也是永遠推導不完的,永遠可以設計出題目來給你做,但是真正的問題其實只有一個。如果窮舉不了世界上所有的問題,至少可以舉出那些有趣、有意義的問題:)
--
劉未鵬(pongba)
Blog|C++的羅浮宮
http://blog.csdn.net/pongba
posted on 2008-11-15 16:37
漂漂 閱讀(1475)
評論(0) 編輯 收藏 引用 所屬分類:
算法