文章目錄

• 神經網絡的起源：線性回歸
• • 一個線性回歸問題
  • • 線性回歸優化方法：梯度下降
  • 梯度計算
  • 梯度計算總結
  • 線性回歸：輸出
  • 線性回歸：局限
• 從線性到非線性
• • 非線性激勵
  • 常用的非線性激勵函數
  • tanh
  • RELU
  • Lecky RELU
  • 神經元—神經網絡
• 神經網絡構建
• • 神經元的并聯和串聯
  • 神經網絡優化
  • Tensorflow實現
• 神經網絡“配件”
• • 損失函數-Loss
  • Softmax
  • Cross entropy
  • 自定義損失函數
  • 學習率
  • 動量
  • 過擬合
  • 應對方法：正則化
  • 應對方法：Drop out
  • Fine turning

神經網絡的起源：線性回歸

概念：線性關系描述輸入到輸出的映射關系
應用：網絡分析，銀行風險分析，基金股價預測，天氣預報

一個線性回歸問題

線性回歸優化方法：梯度下降

梯度計算

梯度計算總結

隨機初始化參數

開始循環：t=0，1，2，……

線性回歸：輸出

線性回歸：局限

從線性到非線性

非線性激勵

常用的非線性激勵函數

一般神經網絡最后一層用sigmoid

tanh

RELU

特征足夠多情況下運用

Lecky RELU

線性了

神經元—神經網絡

是否存在線性回歸網絡

神經網絡構建

神經元的并聯和串聯

從第一層神經網絡到最終輸出，每一個神經元的數值由前一層神經元數值，神經元參數w，b以及激勵函數共同決定第n+1層第k個神經元方程，由公式表示為：

在這里，m表示第n層神經網絡的寬度，n為當前神經網絡的深度

神經網絡優化

Tensorflow實現

神經網絡“配件”

損失函數-Loss

影響深度學習性能重要因素之一。是外部世界對神經網絡模型訓練的直接指導
合適的損失函數能夠確保深度學習模型收斂
設計合適的損失函數是研究工作主要內容之一

Softmax

Cross entropy

自定義損失函數

學習率

動量

直接調大學習率有什么區別？
矢量標量區別

過擬合

訓練100% 測試數據差過擬合

應對方法：正則化

應對方法：Drop out

隨機選擇50%神經元,進行預測 需乘2

pooling：四個分別兩個選最大出來

Fine turning

旋轉改變平移1張圖變10張然后運用model

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的传统神经网络的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。