作者 | Peter

編輯 |?AI有道

今天帶來第四周課程的筆記：神經網絡基礎。

• 非線性假設

• 神經元和大腦

• 模型表示

• 特征和直觀理解

• 多類分類問題

非線性假設Non-linear Hypotheses

線性回歸和邏輯回歸的缺點：特征太多的時候，計算負荷會非常大

假設我們希望訓練一個模型來識別視覺對象（例如識別一張圖片上是否是一輛汽車），我們怎樣才能這么做呢？一種方法是我們利用很多汽車的圖片和很多非汽車的圖片，然后利用這些圖片上一個個像素的值（飽和度或亮度）來作為特征。

假設采用的是50*50像素的小圖片，將所有的像素視為特征，則有2500個特征。普通的邏輯回歸模型不能處理的，需要使用神經網絡

神經元和大腦

模型表示

模型表示1

每個神經元是可以被認為一個處理單元/神經核processing unit/Nucleus，主要包含：

• 多個輸入/樹突input/Dendrite

• 一個輸出/軸突output/Axon

神經網絡是大量神經元相互鏈接并通過電脈沖來交流的一個網絡

神經網絡模型建立在很多神經元之上，每一個神經元又是一個個學習模型

神經元稱之為激活單元activation unit；在神經網絡中，參數又可被成為權重（weight）

類似神經元的神經網絡

神經網絡

下圖是邏輯回歸模型作為自身學習模型的神經元示例

類似神經元的神經網絡結構

• x1,x2,x3是輸入單元，將原始數據輸入給它們

• 幾個比較基礎的概念

• • 輸入層：數據節點所在的層

  • 網絡層：輸出hihi連同它的網絡層參數w,bw,b

  • 隱藏層：網絡層中間的層

  • 輸出層：最后一層

  • 偏置單元：bias unit，每層加上偏置單元

上面模型的激活單元和輸出分別表示為：

三個激活單元的表達式:

輸出的表達式為：

將特征矩陣的每行（一個訓練實例）喂給了神經網絡，最終需要將整個訓練集都喂給神經網絡。

這種從左到右計算的算法稱之為：前向傳播法FORWARD PROPAGATION

模型標記的記憶方法

其尺寸具體表示為：

• 以第jj?層的激活單元數量為行數

• 以第?j+1j+1層的激活單元數+1為列數的矩陣

模型表示2

FORWARD PROPAGATION相對于使用循環來編碼，利用向量化的方法會使得計算更為簡便，

假如現在有：

其中z滿足:

也就是上面三個激活單元式子中的括號里面部分，那么有：

那么輸出h可以表示為 ：

特征和直觀理解

神經網絡中，單層神經元（無中間層）的計算可用來表示邏輯運算，比如邏輯與(AND)、邏輯或(OR)

實現邏輯”與AND”

實現邏輯"或OR"

實現邏輯“非not”

多類分類問題

當輸出中不止有兩種分類時，比如使用神經網絡算法來識別路人、汽車、摩托車等。

• 輸入向量有3個維度，兩個中間層

• 輸出層有4個神經元表示4種分類，也就是每一個數據在輸出層都會出現[a,b,c,d]T[a,b,c,d]T，且[a,b,c,d][a,b,c,d]中僅有一個為1，表示當前類

TF中解決辦法

上述多類分類問題和TF中手寫數字問題類似，解決辦法如下：

手寫數字圖片數據

總類別數是10，即輸出節點總數值dout=10dout=10，假設某個樣本的類別是i，即圖片中的數字是ii，需要一個長度為10的向量yy，索引號為ii的位置設置為1，其余是0。

• 0的one-hot編碼是[1,0,0,0,….]

• 1的one-hot編碼是[0,1,0,0,….]

• 其余類推

至此，第四周的課程筆記完畢！

系列文章：

吳恩達《Machine Learning》精煉筆記 1：監督學習與非監督學習

吳恩達《Machine Learning》精煉筆記 2：梯度下降與正規方程

吳恩達《Machine Learning》精煉筆記 3：回歸問題和正則化

---

推薦閱讀

（點擊標題可跳轉閱讀）

干貨 | 公眾號歷史文章精選

我的深度學習入門路線

我的機器學習入門路線圖

重磅！

AI有道年度技術文章電子版PDF來啦！

掃描下方二維碼，添加?AI有道小助手微信，可申請入群，并獲得2020完整技術文章合集PDF（一定要備注：入群?+ 地點 + 學校/公司。例如：入群+上海+復旦。?

長按掃碼，申請入群

（添加人數較多，請耐心等待）

感謝你的分享，點贊，在看三連↓

總結

以上是生活随笔為你收集整理的吴恩达《Machine Learning》精炼笔记 4：神经网络基础的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。