點(diǎn)擊上方“AI有道”，選擇“星標(biāo)”公眾號(hào)

重磅干貨，第一時(shí)間送達(dá)

《深度學(xué)習(xí)》，又名“花書”。該書由三位大佬 Ian Goodfellow、Yoshua Bengio 和 Aaron Courville 撰寫，是深度學(xué)習(xí)領(lǐng)域奠基性的經(jīng)典教材，被譽(yù)為深度學(xué)習(xí)“圣經(jīng)”。

原書內(nèi)容非常充實(shí)，接近 800 頁。讀完之后，及時(shí)進(jìn)行高度概括和經(jīng)驗(yàn)總結(jié)是十分有幫助的。本文給大家介紹一份來自?Microsoft 計(jì)算機(jī)軟件工程師?Jeff Macaluso 總結(jié)的關(guān)于花書的精髓筆記，我們一起來看一下吧！

筆記地址：

https://jeffmacaluso.github.io/post/DeepLearningRulesOfThumb/

為什么寫這份筆記？

關(guān)于為什么寫這份筆記，作者是這么說的：

當(dāng)我在研究生院第一次學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)時(shí)，我問我的教授在選擇架構(gòu)和超參數(shù)時(shí)是否有經(jīng)驗(yàn)法則。我半以為他會(huì)回答：好吧，有點(diǎn)，但不是真的。畢竟對(duì)于神經(jīng)網(wǎng)絡(luò)來說，有比其他機(jī)器學(xué)習(xí)算法更多的選擇！當(dāng)我讀到 Ian Goodfellow, Yoshua Bengio 和 Aaaron Courville 的《深度學(xué)習(xí)》一書時(shí)，我一直在思考這個(gè)問題，并決定編制一份貫穿這本書的知識(shí)清單。事實(shí)證明，它們還有很多，特別是它們可以完成很多類型的神經(jīng)網(wǎng)絡(luò)和任務(wù)。

如何評(píng)價(jià)這份筆記？

作者這樣評(píng)價(jià)自己的這份筆記：

有趣的是，這些經(jīng)驗(yàn)法則中有很多并沒有很好地建立起來——深度學(xué)習(xí)仍然是一個(gè)相對(duì)較新的研究領(lǐng)域，因此下面列出的許多規(guī)則只是研究人員最近發(fā)現(xiàn)的一些東西。除此之外，在這本書中還有很多領(lǐng)域，作者會(huì)陳述（更多學(xué)術(shù)術(shù)語）“我們不知道為什么這是有效的，但我們可以看到它是有效的”或者“我們知道這不是最好的方法，但它是一個(gè)活躍的研究領(lǐng)域，我們目前不知道任何更好的方法”。

同時(shí)也對(duì)花書作了中肯的評(píng)價(jià)：

這不是一個(gè)深入學(xué)習(xí)的書評(píng)，但如果你想更深入地了解更成熟的方法以及研究的活躍領(lǐng)域（在出版時(shí)），我個(gè)人會(huì)推薦它。Fast.ai 的 Jeremy Howard（一個(gè)學(xué)習(xí)深入學(xué)習(xí)實(shí)踐方面的優(yōu)秀來源）批評(píng)了這本書，因?yàn)樗^于關(guān)注數(shù)學(xué)和理論，但我發(fā)現(xiàn)除了我跳過的所有數(shù)學(xué)公式外，它還很好地解釋了概念和實(shí)踐方法背后的直覺。

筆記目錄：

這份完整的精髓筆記目錄包括：

1. 應(yīng)用數(shù)學(xué)與機(jī)器學(xué)習(xí)基礎(chǔ)

• 介紹

• 數(shù)值計(jì)算

• 機(jī)器學(xué)習(xí)基礎(chǔ)

2. 深度網(wǎng)絡(luò)：現(xiàn)代實(shí)踐

• 深度前饋網(wǎng)絡(luò)

• 深度學(xué)習(xí)中的正則化

• 深度模型中的優(yōu)化

• 卷積網(wǎng)絡(luò)

• 序列建模：循環(huán)和遞歸網(wǎng)絡(luò)

• 實(shí)踐和方法論

• 應(yīng)用

3. 深度學(xué)習(xí)研究

• 線性因子模型

• 自編碼器

• 表示學(xué)習(xí)

• 深度學(xué)習(xí)中的結(jié)構(gòu)化概率模型

• 蒙特卡羅方法

• 近似推斷

• 深度生成模型

同時(shí)，作者整理了筆記的精簡(jiǎn)版關(guān)鍵知識(shí)點(diǎn) TR:DR，便于快速瀏覽。

知識(shí)清單下載

獲取方式如下：

1.關(guān)注?"AI有道"?公眾號(hào)

2.公眾號(hào)后臺(tái)回復(fù)關(guān)鍵詞：HS

【推薦閱讀】

干貨 | 公眾號(hào)歷史文章精選（附資源）

我的深度學(xué)習(xí)入門路線

我的機(jī)器學(xué)習(xí)入門路線圖

?歡迎加入AI視界

總結(jié)

以上是生活随笔為你收集整理的重磅 | 19 页花书精髓笔记！你可能正需要这份知识清单的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。