思維導(dǎo)圖

本節(jié)課由機(jī)器學(xué)習(xí)過(guò)渡到深度學(xué)習(xí)。如果理解了機(jī)器學(xué)習(xí)的原理及算法的三步驟，就可以很自然地將ML的內(nèi)容遷移到DL中。 因?yàn)镸L與DL的學(xué)習(xí)步驟是完全一樣的。最大的區(qū)別就是DL的學(xué)習(xí)函數(shù)變成了含有許多層的隱藏層。

神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)的最基本的單位叫做神經(jīng)元。每一個(gè)神經(jīng)元中都包含有一個(gè)函數(shù)(如sigmoid函數(shù))。特征輸入作為輸入層（input layer），輸入后與參數(shù)w和偏差b進(jìn)行結(jié)合(如：wx+b)作為神經(jīng)元的輸入。輸入神經(jīng)元中就相當(dāng)于是在神經(jīng)元中進(jìn)行了一個(gè)約束函數(shù)的計(jì)算。計(jì)算好的結(jié)果會(huì)作為輸出進(jìn)入下一層的神經(jīng)元中。下一層神經(jīng)元又有各自不同的w和b，與上層輸出一起結(jié)合在該層的神經(jīng)元中進(jìn)行約束函數(shù)的計(jì)算。 一直到輸出層（output layer）。輸出層輸出的結(jié)果就是最終的預(yù)測(cè)值y。

若繼續(xù)往下深究，經(jīng)過(guò)一次神經(jīng)網(wǎng)絡(luò)得到的預(yù)測(cè)值會(huì)與真實(shí)值進(jìn)行損失函數(shù)Loss的計(jì)算。并可以通過(guò)優(yōu)化(如：梯度下降)的方法更新神經(jīng)網(wǎng)絡(luò)中的w和b。通過(guò)不斷地迭代，得到最終的w* 和 b*。

其實(shí)這樣想來(lái)，就能頓悟：ML與DL確實(shí)有異曲同工之妙。

矩陣運(yùn)算

一般來(lái)說(shuō)，數(shù)據(jù)在模型中都是轉(zhuǎn)換成向量的形式，以方便使用矩陣進(jìn)行運(yùn)算。而矩陣運(yùn)算在計(jì)算機(jī)中能夠很方便快速的計(jì)算出來(lái)。所以使用矩陣的形式，再結(jié)合GPU運(yùn)算，就能極大提高訓(xùn)練的速度，縮短訓(xùn)練時(shí)間。

做法簡(jiǎn)說(shuō)

總結(jié)來(lái)說(shuō)，DL的輸入和輸出都是固定的。甚至，DL可以直接把所有特征丟進(jìn)神經(jīng)網(wǎng)絡(luò)中，由神經(jīng)網(wǎng)絡(luò)來(lái)挑選它認(rèn)為最佳的特征。因此在進(jìn)行DL的研究任務(wù)時(shí)，我們最主要的任務(wù)就是設(shè)計(jì)其中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，比如：設(shè)計(jì)神經(jīng)元的個(gè)數(shù)，每層神經(jīng)網(wǎng)絡(luò)應(yīng)該放置多少個(gè)神經(jīng)元，應(yīng)該設(shè)計(jì)多少層神經(jīng)網(wǎng)絡(luò)，各層神經(jīng)網(wǎng)絡(luò)之間的連接方式，神經(jīng)元里的約束函數(shù)設(shè)計(jì)…… 這么看來(lái)，DL的研究過(guò)程仍然任重道遠(yuǎn)。

下圖為辨認(rèn)圖片中數(shù)字的舉例說(shuō)明。

總結(jié)

以上是生活随笔為你收集整理的李宏毅机器学习笔记——深度学习的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。