第1章 Python入門

第2章 感知機(jī)

第3章 神經(jīng)網(wǎng)絡(luò)

3.2.激活函數(shù)

sigmoid函數(shù)：
$$h(x)=\frac{1}{1+\exp (?x)}$$
ReLU（Rectified Linear Unit）函數(shù)：
$$h(x)=\{\begin{array}{ll}x,& (x>0)\\ 0,& (x\le 0)\end{array}$$

3.5.輸出層的設(shè)計

softmax函數(shù)：
$$y_k=\frac{\exp (a_k)}{{\sum }_{i=1}^n\exp (a_i)}$$

第4章 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

4.2.損失函數(shù)

交叉熵誤差（cross entropy error）：
$$E=?\sum _k{t}_k\log y_k$$

問題：為什么數(shù)值微分的計算非常費(fèi)時？復(fù)雜度有多高？

4.3.數(shù)值微分

# 數(shù)值微分 def numerical_diff(f, x):h = 1e-4return (f(x+h) - f(x-h)) / (2*h)

4.4.梯度

梯度下降法
學(xué)習(xí)率

第5章 誤差反向傳播法

5.1.計算圖

計算圖解題流程：

1.構(gòu)建計算圖

2.在計算圖上，從左向右進(jìn)行計算

使用計算圖的原因：可以通過反向傳播高效計算導(dǎo)數(shù)。

計算圖的優(yōu)點(diǎn)：可以通過正向傳播和反向傳播高效地計算各個變量的導(dǎo)數(shù)值。

5.2.鏈?zhǔn)椒▌t

定義：如果某個函數(shù)由復(fù)合函數(shù)表示，則該復(fù)合函數(shù)的導(dǎo)數(shù)可以用構(gòu)成復(fù)合函數(shù)的各個函數(shù)的導(dǎo)數(shù)的乘積表示。
$$\frac{?z}{?x}=\frac{?z}{?t}\frac{?t}{?x}$$
舉例：$$z=(x+y{)}^2,t=x+y$$
反向傳播計算過程如下：

圖5.7-5.8 計算圖的正向與反向傳播

5.3.反向傳播

加法的反向傳播：將上游的值傳給下游，不需要正向傳播的輸入信號。
乘法的反向傳播：將上游的值乘以正向傳播時的輸入信號的“翻轉(zhuǎn)值”后傳給下游，需要正向傳播的輸入信號。

圖5-14 購買蘋果的反向傳播的例子

5.4.簡單層的實(shí)現(xiàn)

圖5-17 購買2個蘋果和3個橘子

5.5.激活層函數(shù)的實(shí)現(xiàn)

圖5-18 ReLU層的計算圖

圖5-21 Sigmoid層的計算圖（簡潔版）

為什么是exp(-x)而不是exp(x)?

圖5-22 Sigmoid層的計算圖：可以根據(jù)正向傳播的輸出y計算反向傳播

5.6.Affine/Softmax層的實(shí)現(xiàn)

todo

總結(jié)

以上是生活随笔為你收集整理的深度学习入门(鱼书)学习笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。