图解3种常见的深度学习网络结构:FC、CNN、RNN
導讀:深度學習可以應用在各大領域中,根據應用情況的不同,深度神經網絡的形態也各不相同。
常見的深度學習模型主要有全連接(Fully Connected,FC)網絡結構、卷積神經網絡(Convolutional Neural Network,CNN)和循環神經網絡(Recurrent Neural Network,RNN)。
它們均有著自身的特點,在不同的場景中發揮著重要作用。本文將為讀者介紹三種模型的基本概念以及它們各自適用的場景。
作者:劉祥龍 楊晴虹 胡曉光 于佃海 白浩杰?深度學習技術及應用國家工程實驗室?百度技術學院
來源:大數據DT(ID:hzdashuju)
01 全連接網絡結構
全連接(FC)網絡結構是最基本的神經網絡/深度神經網絡層,全連接層的每一個節點都與上一層的所有節點相連。
全連接層在早期主要用于對提取的特征進行分類,然而由于全連接層所有的輸出與輸入都是相連的,一般全連接層的參數是最多的,這需要相當數量的存儲和計算空間。
參數的冗余問題使單純的FC組成的常規神經網絡很少會被應用于較為復雜的場景中。常規神經網絡一般用于依賴所有特征的簡單場景,比如說房價預測模型和在線廣告推薦模型使用的都是相對標準的全連接神經網絡。FC組成的常規神經網絡的具體形式如圖2-7所示。
▲圖2-7 FC組成的常規神經網絡
02 卷積神經網絡
卷積神經網絡(CNN)是一種專門用來處理具有類似網格結構的數據的神經網絡,如圖像數據(可以看作二維的像素網格)。與FC不同的地方在于,CNN的上下層神經元并不都能直接連接,而是通過“卷積核”作為中介,通過“核”的共享大大減少了隱藏層的參數。
簡單的CNN是一系列層,并且每個層都通過一個可微函數將一個量轉化為另一個量,這些層主要包括卷積層(Convolutional Layer)、池化層(Pooling Layer)和全連接層(FC Layer)。
卷積網絡在諸多應用領域都有很好的應用效果,特別是在大型圖像處理的場景中表現得格外出色。圖2-8展示了CNN的結構形式,一個神經元以三維排列組成卷積神經網絡(寬度、高度和深度),如其中一個層展示的那樣,CNN的每一層都將3D的輸入量轉化成3D的輸出量。
▲圖2-8 CNN的結構形式
03 循環神經網絡
循環神經網絡(RNN)也是常用的深度學習模型之一(如圖2-9所示),就像CNN是專門用于處理網格化數據(如一個圖像)的神經網絡,RNN是一種用于處理序列數據的神經網絡。
如音頻中含有時間成分,因此音頻可以被表示為一維時間序列;語言中的單詞都是逐個出現的,因此語言的表示方式也是序列數據。RNN在機器翻譯、語音識別等領域中均有非常好的表現。
▲圖2-9?簡單的RNN結構
關于作者:劉祥龍,副教授,博士生導師,現任職于北京航空航天大學軟件開發環境國家重點實驗室,主要研究大數據檢索、大規模視覺分析、可信賴深度學習等。
楊晴虹,博士,中科院系列高級工程師,北航軟件學院人工智能專業主講教師,美國南康涅狄格州立大學圖書信息科學訪問學者,美國耶魯大學技術創新實驗室數據分析專家。
胡曉光,百度杰出研發架構師,10余年自然語言處理研發經驗,參與的機器翻譯項目獲得國家科技進步二等獎,現負責飛槳核心訓練框架和模型算法的研發,致力于打造最好用的深度學習平臺。
于佃海,百度深度學習平臺飛槳(PaddlePaddle)總架構師。2008年從北京大學畢業加入百度,長期從事機器學習、自然語言處理相關的技術研發和平臺建設工作。
白浩杰,北航、大連理工特聘講師,百度認證深度學習布道師,美國佛羅里達國際大學高性能數據實驗室訪問學者,致力于移動對象數據庫、數據可視化、機器學習、深度學習等方向的研究。
本文摘編自《飛槳PaddlePaddle深度學習實戰》,經出版方授權發布。
延伸閱讀《飛槳PaddlePaddle深度學習實戰》
點擊上圖了解及購買
轉載請聯系微信:DoctorData
推薦語:本書由百度官方出品,內容全面、由淺入深、注重實踐,基于飛槳PaddlePaddle深度學習平臺,較為全面地覆蓋了學習深度學習技術所必須具備的基礎知識以及深度學習主要核心技術,包括相關的數學基礎、Python編程基礎、機器學習基礎以及正向/反向傳播算法、卷積神經網絡、循環神經網絡等,盡量做到讀懂一本書即可達到“零基礎”到“全精通”。
劃重點????
干貨直達????
最新!數字人民幣橫空出世,5萬深圳人瓜分1000萬紅包!
《數字孿生體技術白皮書》重磅發布(附完整版下載)
兩道例題詳解貝葉斯定理
什么是HBase?它是怎樣工作的?終于有人講明白了
更多精彩????
在公眾號對話框輸入以下關鍵詞
查看更多優質內容!
PPT?|?讀書?|?書單?|?硬核?|?干貨?|?講明白?|?神操作
大數據?|?云計算?|?數據庫?|?Python?|?可視化
AI?|?人工智能?|?機器學習?|?深度學習?|?NLP
5G?|?中臺?|?用戶畫像?|?1024?|?數學?|?算法?|?數字孿生
據統計,99%的大咖都完成了這個神操作
????
總結
以上是生活随笔為你收集整理的图解3种常见的深度学习网络结构:FC、CNN、RNN的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 机器学习重大挑战:坏数据和坏算法正在毁掉
- 下一篇: 戳破“砖家”假面:唯快不破的时代,为什么