核心思想：

假設我們有一個系統S，它有n層（S1,…Sn），它的輸入是I，輸出是O，形象地表示為： I =>S1=>S2=>…..=>Sn?

=> O，如果輸出O等于輸入I，即輸入I經過這個系統變化之后沒有任何的信息損失，保持了不變，這意味著輸入I經過

每一層Si都沒有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另外一種表示。

在深度學習中，我們需要自動地學習特征，假設有一堆輸入I（如一堆圖像或者文本），我們設計了一個系統S（有n

層），我們通過調整系統中參數，使得它的輸出仍然是輸入I，那么我們就可以自動地獲取得到輸入I的一系列層次特

征，即S1，…, Sn。

深度學習的思想就是堆疊多個層，也就是說這一層的輸出作為下一層的輸入。通過這種方式實現對輸入信

息進行分級表達了。深度學習是無監督學習的一種。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或

特征，以發現數據的分布式特征表示。

觀點及網絡結構：

2006年，加拿大多倫多大學教授、機器學習領域的泰斗Geoffrey Hinton和他的學生在《科學》上發表了一篇文

章，開啟了深度學習在學術界和工業界的浪潮。這篇文章有兩個主要觀點：

1、多隱層的人工神經網絡具有優異的特征學習能力，學習得到的特征對數據有更本質的刻畫，從而有利于可視

化或分類；

2、深度神經網絡在訓練上的難度，可以通過“逐層初始化”（layer-wise pre-training）來有效克服，在這篇

文章中，逐層初始化是通過無監督學習實現的。

深度學習可通過學習一種深層非線性網絡結構，實現復雜函數逼近，表征輸入數據分布式表示，并展現了強大的從少

數樣本集中學習數據集本質特征的能力。（多層的好處是可以用較少的參數表示復雜的函數）

?深度學習的實質，是通過構建具有很多隱層的機器學習模型和海量的訓練數據，來學習更有用的特征，從而最終提

升分類或預測的準確性。因此，“深度模型”是手段，“特征學習”是目的。深度學習強調了模型結構的深度，通常

有5層、6層，甚至10多層的隱層節點；?明確突出了特征學習的重要性，也就是說，通過逐層特征變換，將樣本在原

空間的特征表示變換到一個新特征空間，從而使分類或預測更加容易。與人工規則構造特征的方法相比，利用大數據

來學習特征，更能夠刻畫數據的豐富內在信息。

深度學習?采用了神經網絡相似的分層結構，系統由包括輸入層、隱層（多層）、輸出層組成的多層網絡，只有相鄰

層節點之間有連接，同一層以及跨層節點之間相互無連接，每一層可以看作是一個logistic?regression模型；這種分

層結構，是比較接近人類大腦的結構的。

訓練機制：

整體上是一個layer-wise的訓練機制。這樣做的原因是因為，如果采用back propagation的機制，對于一個deep?

network（7層以上），殘差傳播到最前面的層已經變得太小，出現所謂的gradient?diffusion（梯度擴散）。

總結

以上是生活随笔為你收集整理的深度学习——核心思想的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。