谷歌新 AI 實驗室主管 Hugo 深度學習教程：神經(jīng)網(wǎng)絡(luò)、CV、NLP 難點解析

[日期：2016-12-16]

來源：新智元? 作者：

[字體：大 中 小]

?11月22日，谷歌在蒙特利爾的現(xiàn)有辦公室開設(shè)了一個全新的深度學習和人工智能研究小組。新團隊將作為位于山景城的 Google Brain 團隊的遠程部門，由從 Twitter 深度學習部門出來的 Hugo Larochelle 領(lǐng)導。Hugo Larochelle 是 Yoshua Bengio的博士生，Geoffrey Hinton之前的博士后。本文是他主講的神經(jīng)網(wǎng)絡(luò)教程，內(nèi)容包括神經(jīng)網(wǎng)絡(luò)原理介紹、深度學習及應(yīng)用層面的計算機視覺和自然語言處理等等，課程深入淺出，且全面系統(tǒng)，是不可多得的了解深度學習基礎(chǔ)知識的優(yōu)質(zhì)材料。

　　11月22日，Hugo 宣布加入谷歌蒙特利爾人工智能研究小組。

　　

　　【經(jīng)典】Hugo Larochelle 深度學習講課視頻（時長 1 小時，建議在 WiFi 環(huán)境下觀看）

　　課程介紹

　　第 0 周 引言和數(shù)學復習

　　總體概覽：Hugo Larochelle 在Sherbrooke課程上使用的講義

　　線性代數(shù)：吳恩達課程回顧

　　統(tǒng)計學：William Faris 的課程筆記第三章

　　抽樣：Iain Murray的博士論文，第20-31頁

　　第 1 周 前饋神經(jīng)網(wǎng)絡(luò)

　　主要內(nèi)容：人造神經(jīng)元、激活函數(shù)、單個神經(jīng)元的能力、多層神經(jīng)網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)的能力、生物學的啟示。

　　第 2 周 訓練神經(jīng)網(wǎng)絡(luò)

　　主要內(nèi)容：經(jīng)驗風險最小化、損失函數(shù)、輸出層梯度、隱藏層梯度、激活函數(shù)派生、參數(shù)梯度、反向傳播、正則化、參數(shù)初始化、模型選擇、優(yōu)化。

　　第3周 條件隨機場

　　主要內(nèi)容：Motivation、直鏈CRF、文本窗口、計算分割函數(shù)、計算邊際、執(zhí)行分類、因子，有效統(tǒng)計和線性CRF，馬爾科夫網(wǎng)絡(luò)、因子圖、信念傳播（Belief Propagation）。

　　第4周 訓練CRFs

　　主要內(nèi)容：損失函數(shù)、一元log-factor 梯度、成對log-factor梯度、區(qū)分與生成學習、最大熵馬爾科夫模型、隱藏馬爾科夫模型、常規(guī)條件隨機場、Pseudolikelihood

　　第5周 有限玻爾茲曼機器

　　主要內(nèi)容：有限玻爾茲曼機器的定義、推理、自由能量、對比發(fā)散、對比發(fā)散（參數(shù)升級）、堅固的CD、例子、擴展。

　　第6周 自動編碼器

　　主要內(nèi)容：自動編碼器的定義、損失函數(shù)、例子、線性自動編碼器、未完成VS過完成隱藏層、去噪自動編碼器、收縮自動編碼器。

　　第7周 深度學習

　　主要內(nèi)容：動機、訓練的難度、非監(jiān)督預訓練、例子、漏失信息、深度自動編碼器、深度信念網(wǎng)絡(luò)、可變化的綁定、深度信念網(wǎng)絡(luò)（DBN ）預訓練

　　第8周 稀疏編碼

　　主要內(nèi)容：定義、推理（ISTA 算法）、詞典更新——映射梯度下降、詞典更新——塊調(diào)整下降、詞學習算法、線上詞學習算法、ZCA 預處理、特征提取、與V1的關(guān)系

　　第9周 計算機視覺

　　主要內(nèi)容：動機、局部連接性、參數(shù)分享、離散卷積、池化與次抽樣、卷積網(wǎng)絡(luò)、物體識別、樣本、數(shù)據(jù)集擴展、卷積RBM

　　第10周 自然語言處理

　　主要內(nèi)容：動機、預處理、單次編碼、詞表征、語言建模、神經(jīng)網(wǎng)絡(luò)語言模型、分層的輸出層、詞標簽、卷積網(wǎng)絡(luò)、多任務(wù)學習、遞歸網(wǎng)絡(luò)、合并表征、樹表征、遞歸網(wǎng)絡(luò)訓練。

　　重點介紹，第7周：深度學習

　　

　　

　　

　　1. 深度學習

　　主題：深度學習；分布式表征

　　深度學習，就是使用多層表征研究學習模型

• 多層（前饋）神經(jīng)網(wǎng)絡(luò)

• 多層圖模型（深度信念網(wǎng)絡(luò)，深度玻爾茲曼機）

　　每一層對應(yīng)于一個分布式表征

• 每層中的單元并不是相互排斥的

• 可同時激活兩個單元

　　它們對被區(qū)分開的（分串）輸入不會有反應(yīng)

• 在串中，輸入只屬于單一的串

　　

　　深度學習從視覺皮質(zhì)獲得啟發(fā)

　　

　　

　　

　　

　　

　　

　　

　　主題：理論論證

　　一個深度架構(gòu)可以代表特定的函數(shù)，但是在簡潔性上卻有指數(shù)級的進步。

　　一個例子：布爾函數(shù)

　　

　　

　　2. 訓練的難度

　　

　　

　　為什么深度學習的訓練很難？

　　

　　第一個假設(shè)：優(yōu)化更難（沒有達到擬合）

　　梯度消失的問題

　　飽和單元會阻礙梯度傳播

　　這是遞歸神經(jīng)網(wǎng)絡(luò)中的一個著名難題

　　

　　第二個假設(shè)：過擬合

　　我們正在探索的，是一個帶有復雜函數(shù)的空間

　　深度網(wǎng)絡(luò)一般都有很多的參數(shù)

　　可能會存在于高變量/低偏見的情況下

　　

　　解決方案：第一種情況，使用更好的優(yōu)化；第二種情況，使用更好的正則化，非監(jiān)督學習、隨機訓練。

　　3. 非監(jiān)督預訓練

　　

　　

　　使用非監(jiān)督學習對隱藏層進行初始化

　　

　　

　　非監(jiān)督式的預訓練

　　

　　

　　第一層：找到隱藏層的特征，比起隨機輸入，訓練后的輸入中這些特征更加常見。

　　第二層：找到隱藏層中各種特征的結(jié)合點，這比隨機隱藏層的特征更加常見。

　　第三層：找到結(jié)合中的結(jié)合……

　　

　　調(diào)整：在所有的層都經(jīng)過預訓練后進行，這是一個監(jiān)督式學習的過程。

　　

　　

　　

　　主題：偽代碼

　　

　　

　　4. 深度學習原理解析

　　包含內(nèi)容：預訓練、調(diào)參、數(shù)據(jù)庫等

　　

　　

　　假設(shè)：使用隨機梯度下降來訓練整個神經(jīng)網(wǎng)絡(luò)

　　

　　

　　

　　

　　

　　

　　

　　5. Dropout

　　

　　

　　通過隨機地一處隱藏單元，讓神經(jīng)網(wǎng)絡(luò)“殘廢”

　　Dropout 概率值設(shè)定在0.5

　　

　　

　　

　　

　　

　　

　　

　　主題：測試時間分類

　　6. 自動編碼

　　

　　

　　預訓練可用于對一個深度自動編碼器進行初始化

　　

　　

　　7. 深度信念網(wǎng)絡(luò)

　　

　　

　　

　　

　　

　　

　　

　　

　　可變綁定

　　神經(jīng)網(wǎng)絡(luò)層數(shù)的增加可以呈現(xiàn)遞歸性重復

　　現(xiàn)在可以把這一過程看成

　　調(diào)優(yōu)由自上而下的算法完成

　　8. 可變綁定

　　

　　

　　

　　

　　

　　

　　

　　9. 深度信念網(wǎng)絡(luò)預訓練

　　

　　

　　

　　

　　

　　

　　

總結(jié)

以上是生活随笔為你收集整理的谷歌新 AI 实验室主管 Hugo 深度学习教程：神经网络、CV、NLP 难点解析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。