文章目錄

• • 1. 深層神經(jīng)網(wǎng)絡(luò)
  • 2. 前向傳播和反向傳播
  • 3. 核對(duì)矩陣維數(shù)
  • 4. 參數(shù)、超參數(shù)

參考：
吳恩達(dá)視頻課
深度學(xué)習(xí)筆記

1. 深層神經(jīng)網(wǎng)絡(luò)

有的時(shí)候只有非常深的神經(jīng)網(wǎng)絡(luò)才能發(fā)揮作用。

但是無(wú)法提前預(yù)知多少層的神經(jīng)網(wǎng)絡(luò)合適，可以先嘗試邏輯回歸，嘗試一層，然后兩層隱含層，然后把隱含層的數(shù)量當(dāng)作超參數(shù)，然后交叉驗(yàn)證

2. 前向傳播和反向傳播

前向傳播：

• 輸入： $a^{[l?1]}$
• 輸出：$a^{[l]}$
• 緩存：$z^{[l]},w^{[l]},b^{[l]}$

$z^{[l]}=W^{[l]}?a^{[l?1]}+b^{[l]}$
$a^{[l]}=g^{[l]}\left(z^{[l]}\right)$

向量化寫法
$z^{[l]}=W^{[l]}?A^{[l?1]}+b^{[l]}$
$A^{[l]}=g^{[l]}\left(Z^{[l]}\right)$

后向傳播：

• 輸入： $d{a}^{[l]}$
• 輸出： $d{a}^{[l?1]}，d{w}^{[l]}，d{b}^{[l]}$

$\begin{array}{l}d{z}^{[l]}=d{a}^{[l]}?g^{[l{]}^{\prime }}\left(z^{[l]}\right)\\ d{w}^{[l]}=d{z}^{[l]}?a^{[l?1]}\\ d{b}^{[l]}=d{z}^{[l]}\\ d{a}^{[l?1]}=w^{[l]T}?d{z}^{[l]}\\ d{z}^{[l]}=w^{[l+1]T}d{z}^{[l+1]}?g^{[l{]}^{\prime }}\left(z^{[l]}\right)\end{array}$

向量化寫法
$\begin{array}{l}d{Z}^{[l]}=d{A}^{[l]}?g^{[l{]}^{\prime }}\left(Z^{[l]}\right)\\ d{W}^{[l]}=\frac{1}{m}d{Z}^{[l]}?A^{[l?1]T}\\ d{b}^{[l]}=\frac{1}{m}np?\mathrm{sum}\left(d{z}^{[l]},\text{axis}=1,\text{?keepdims?}=\text{True}\right)\\ d{A}^{[l?1]}=W^{[l]T}?d{Z}^{[l]}\end{array}$

3. 核對(duì)矩陣維數(shù)

4. 參數(shù)、超參數(shù)

參數(shù)有 W, b

超參數(shù)：

• 學(xué)習(xí)率
• 梯度下降 迭代次數(shù)
• 隱藏層數(shù)量
• 隱藏層單元數(shù)量
• 激活函數(shù)選擇
• momentum
• mini batch size
• 正則化參數(shù)

多種組合，各種嘗試，選擇效果最好的參數(shù)組合，第二門課會(huì)介紹

總結(jié)

以上是生活随笔為你收集整理的01.神经网络和深度学习 W4.深层神经网络的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。