梯度下降

損失函數可視化

得分函數 ? f=W*X 損失函數 ? c=W*X-y ?? 目標 ? ?損失函數最小 ? ?最優化過程 可視化 ? ?? 一維 二維 ? 熱力圖 如果損失函數是一個凸函數，例如SVM。 凸函數 正系數加和=凸函數 神經網絡 ? ?costfunction ? ?非凸 ? 因為系數有正有負。

凸優化與最優化

神經網絡最優化方法是梯度下降。梯度下降策略有： 1 隨機搜索。隨機生成一組權重，與之前的loss相比，小了，就是更更好的權重。
2 隨機局部搜索。在現有權重的周圍隨機生成一組權重。選擇最優權重。

3 順著梯度下滑。梯度方向是函數增長最快的方向。隨意順梯度下降，就是最快能到達最小值的方式。梯度下降是初始值敏感的，不同的初始值可能到達的最小值點不同。一般使用高斯分布的隨機小值。

梯度下降

梯度下降有兩種解決。數值梯度和解析梯度。 數值梯度是按照導數公式 ? f(x0)' = (f(x0+h) - f(x0))/h ? ,h是一個非常小的數。數值梯度解法簡單，但是計算和參數呈線性關系，計算量大。 解析法：速度快，但是容易出錯。利用f(x)導函數 f(x)' 計算梯度。
梯度下降的實現過程中有批處理、隨機梯度、min-batch梯度下降。
梯度下降要理解梯度方向需要弄明白 梯度方向 ? 三垂線 ?幾個概念。我記錄一點雜亂的東西在這里。 梯度：函數增長最快的方向。 梯度方向是等值曲線的法向量。是函數在某一點的變化率和變化方向。在一維函數的時候，梯度方向和

反向傳播

反向轉播是一個求偏導的過程。

鏈式法則

把 ? f(x,y,z)=(x+y)*z ? ?在給定一個具體值的時候畫一個網絡結構圖試試吧。前向計算每一步的得分。向后計算每一步的導數。

Sigmoid例子和公式推導

這個公式推導真心沒推導出來。繼續加油。

總結

以上是生活随笔為你收集整理的深度学习第三次课-梯度下降与反向传播的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。