深度學習調參經驗
深度學習調參經驗http://t.cn/RZKJL9I。之前沒有注意的有：1、梯度要除以batch size 2、嘗試多種權重初始化方式 3、當使用RNN或者LSTM的時候，要對梯度最大值作限制，不要超過15或者5（根據經驗人為調整） 4、嘗試dropout，且要比平時要多點迭代。這一切的前提是你有臺非常牛逼的電腦[拜拜][拜拜]

深度學習資源 博客Random Thoughts  http://rt.dgyblog.com/ref/ref-learning-deep-learning.html

Reference: 機器學習早報

芝加哥大學研究人員提出一種新型卷積神經模型FractalNet

芝加哥大學的研究人員發表了一份論文《FractalNet: Ultra-Deep Neural Networks without Residuals》，介紹了一種無殘差的超深卷積神經網絡FractalNet，他們實驗證明殘差值并不是創建超深卷積神經網絡的關鍵，Fractal 網絡可以被視為每一層子網絡深度隱形聯合起來的運算效率。在Fractal 網絡架構下做一些子路徑的擴展，子網絡能有更快的運算性能和更精準的訓練結果。有興趣的讀者請閱讀原文：www.arxiv.org/pdf/1605.07648v1.pdf。

Reference: http://mini.eastday.com/a/160531103419897-3.html