深度學習未來十大趨勢

[日期：2015-12-22]

來源：?作者：張巨巖

[字體：大 中 小]

　　

?

　　本周，我在加拿大蒙特利爾參加了NIPS(Neural Information Processing Systems，神經信息處理系統)2015年論壇。這是一次令人難以置信的經歷，就像從信息海洋中汲水一樣。特別感謝我的雇主Dropbox派遣我參加這場會議(我們正在招人)。

　　這里是本周我注意到的一些趨勢;注意到這些趨勢更偏向于深度學習和強化學習(reinforcement learning)，因為它們是我在這次論壇中參加的主要部分。

　　神經網絡框架變得越來越復雜而精密

　　在感知、語言翻譯等等方面的大部分最先進的神經網絡框架正在發展并且不在僅僅關于簡單前饋式(feed forward)框架或者卷積式框架(convolutional)。特別地，它們正在混合并匹配不同的神經網絡技術如LSTMs、卷積、自定義目標函數、多皮層柱(multiple cortical columns)等等。

　　所有最酷的系統都在使用 LSTMs

　　大部分最先進的系統都將LSTMs納入到系統中，以使系統具有捕捉重復模式的記憶力。

　　“注意力模型”在升溫

　　一些系統，但不是全部，開始放到“注意力模型”的背景中，或者說讓神經網絡在完成任務的過程中試圖學習在哪里放置其“注意力”。這些還不是一個正規神經網絡流水線中的一部分，但是已經時不時的出現在模型中了。

　　神經圖靈機仍然有趣，但并沒有影響到實際工作

　　神經網絡圖靈機(Neural Turing Machines)的研究，或者說能夠有差異地訓練一個神經網絡來學習算法，仍然有趣，但是還沒有應用到實際工作中。它們還很復雜并且目前只能解決玩具問題(toy problems)。

　　計算機視覺和自然語言處理，會變得幾乎不可分離——在電腦視覺和自然語言處理的領域的深度學習正在互相融合

　　卷積神經網絡第一次出現是在電腦視覺中，但是現在用于一些自然語言處理(NLP)中了，LSTMs和主流對遞歸神經網絡使用的傾向性，第一次做出引人注目的成果是在NLP任務中——如序列到序列的翻譯(sequence-to-sequence translation)，然而現在通過修剪被納入到電腦視覺神經網絡任務中。

　　另外，電腦視覺和NLP的交叉部分再加上在如圖片捕捉任務中使用到的常見的嵌入(embeddings)技術，還很熱門。

　　符號微分法越來越重要

　　隨著神經網絡框架和它們的目標函數可以自定義，同時也變得越來越復雜，人為手動提取它們反向傳播中的梯度變得越來越難，也容易出錯。最新的工具包如谷歌的TensorFlow有了自動符號微分，所以你可以構建你的框架和目標函數，在訓練過程中工具包會在眾多的碎片中自動地找出正確的微分來保證誤差梯度可以反向傳播。

　　神經網絡模型壓縮帶來了越來越多令人驚喜的結果

　　多個團隊展示了不同的方式來劇烈地壓縮一個訓練過的模型的權重數量：二值化(binarization)、固定浮點(fixed floating point)、迭代剪枝(iterative pruning)和微調措施(fine tuning steps)等等更多。

　　這些方法為許多應用帶來了可能：有可能將很復雜的模型適配到手機上，例如，與云端無延遲的對話來得到結果，如語音識別。另外，如果我們能夠高幀率的快速查詢一個模型(因為它的空間和計算運行時間成本很低，如30 FPS)，那么在移動裝置上使用復雜的、訓練好的神經網絡模型來完成接近實時的新類型電腦視覺任務就有可能了。

　　NIPS展示了這些壓縮技術，但是我沒有看到任何人應用它們。我覺得我們在2016年可能見到相應的應用。

　　深度學習和強化學習的交叉在繼續

　　雖然今年NIPS沒有展示關于強化學習的主要結果，但是深度強化學習研究討論室只剩下站立的地方，他們展示了深度神經網絡和強化學習的計劃能力兩者結合給人帶來的令人興奮的可能。

　　在這個領域一些令人興奮的工作正在發生，如端對端機器人，使用深度學習和強化學習來完成原始傳感器數據到實際動作執行器的直接過度。我們正從過去的只是分類一步步發展到試圖理解如何在方程中加入計劃和行動。還有更多的工作要做，但是早期工作很令人興奮。

　　如果你沒使用批量歸一化，那么現在應該開始了

　　批量歸一化(batch normalization)正被考慮成為神經網絡工具包的一個標準部分，并在論壇的整體工作過程中作為參考(reference)。

　　神經網絡和產品應用，應該攜手同行

　　你需要讓研究人員創造新的神經網絡方法，而且也有途徑將這些方法快速擴展到實際應用產品中。谷歌的TensorFlow是數據庫中很少做到這一點的平臺之一：研究人員可以快速創造新的網絡拓撲如圖像，然后這些能夠擴展在不同的配置中——如使用像Python或C++主流程序語言的單個設備、多個設備或者是移動設備中。

　　然而，注意到TensorFlow還在早期階段;Caffe現在倒是能使用。TensorFlow的單裝置表現不如其他的構架;谷歌也宣稱不久他們會公布一個使用Kubernetes和gRPC的分布式版本但是分布式訓練尚未發揮作用;并且使用TensorFlow目前還不能在亞馬遜的AWS上運行。盡管如此，TensorFlow的前景可期。

總結

以上是生活随笔為你收集整理的深度学习未来十大趋势的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。