1 神經元

1.1 概述

1.1.1 神經網絡

神經網絡：一種人工模仿動物中樞系統的數學模型，用于對函數進行近似估計

1.1.2 神經元

神經網絡的基本單位是神經元。

神經元是一種處理單元，是對人腦組織的神經元的某種抽象、簡化和模擬。通過神經元，人工神經網絡可以以數學模型模擬人腦神經元活動，繼而進行高效的計算以及其他處理。

1.2 計算機中的神經元系統

1.2.1 簡單的神經元系統

神經元模型便是模擬大腦神經元的運行過程，其包含輸入，輸出與計算功能，輸入可以類比為神經元的樹突，而輸出可以類比為神經元的軸突，計算則可以類比為細胞核。下圖是一個典型的神經元模型：包含有m個輸入，1個輸出，以及2個計算功能。

1.2.2 一句話理解神經網絡

所以一句話理解就是：制造一個神經網絡就是在定義一個函數集合。而訓練一個神經網絡就是在這個函數集合中找到?唯一一個函數。這個函數代表了訓練樣本的共性特征。這種共性特征稱為目標。

一個神經元的功能是求得輸入向量與權向量的內積后，經一個非線性傳遞函數得到一個標量結果。

1.2.3 神經網絡的形成

當前主要使用反向傳播的算法將模型的誤差作為刺激的信號，并沿著神經元處理信號的反方向進行逐層傳播，并更新當前層中節點的權重。

1.2.4?神經網絡的特點

神經網絡的結構與功能，使得其天生具有編程與實現各種高級功能的能力，只不過該編程不需要通過人腦擬合現實來實現，而是通過模型學習的方式，通過現實的表象來優化其所需要的結構。

1.3 深度學習中的基礎神經網絡模型

• 全連接神經網絡：用來處理與數值相關的任務
• 卷積神經網絡：用來處理與計算機視覺相關的任務
• 循環神經網絡：用來處理與序列相關的任務

1.4 神經網絡（深度學習）到底是在干什么

1.4.1 玩色子

應該都接觸過搖色子賭大小得游戲，微信表情包就有這個，總共有六個點數，如下：

一般電視劇里用兩只碗扣在一塊，里面有三個色子，最大是18點，最小是3點，所以這里暫且以11為中位數，大于等于11的為大，小于11的為小，剛好8個大點、8個小點。

1.4.2 建模型

神經網絡包括三個部分——輸入層、隱藏層和輸出層。我們建立一個神經網絡模型來讓機器識別我們搖出來的點數是大還是小。

先搖三個點。。。

很明顯的是1+3+4 = 8 <11，

問題是隱藏層 “ ”到底做了什么？該怎么做？

1.4.3 出結果

其實這個隱藏層的函數（或者叫矩陣）就是三個值為1的常數函數。

?計算方式為點對點相乘然后相加（相當于深度學習里面的全連接層）
1×1+3×1+4×1 = 8 < 11，然后只需要一個判斷函數就可以將“小”作為結果輸出。

同樣：

3×1+5×1+6×1 = 14 >11，輸出“大”。

當然了，這個只是一個很簡單的分類模型，而且只有兩個分類結果。
一般用于實現數字識別或者圖像識別的隱藏層比較復雜，甚至需要很多個隱藏層，分別命名為卷積層（一個模型中可能會多次使用）、池化層（一個模型中可能會多次使用）、全連接層，還會有對應的激活函數。

看吧，其實就是一個很簡單的模型而已，只是名字唬人罷了。

2 全連接神經網絡，又稱作多層感知機（MLP）

2.1?網絡結構

• 輸入層：[特征維度，n]
• 隱含層：權重矩陣 [輸出維度，輸入維度] 或者說? [這層維度，上層維度]
• 輸出層：[類別數，n]

2.1.1 全連接層的本質

① 全連接神經網絡的本質是將低維數據向高維數據的映射，通過增加數據所在的維度空間，使得數據變得線性可分

② 可以對任何數據進行分類，缺點是需要更多的參數進行訓練。但更多的參數參與運算，將會導致訓練過程難以收斂

2.2 全連接神經網絡的設計思想

2.2.1 輸入節點根據外部的特征數據來確定

2.2.2 隱藏層的節點數，隱藏層的數量都是可以自定義設計的，但需要遵循以下兩個原則

2.2.3 設計原則

• 隱藏層的節點數決定模型的擬合能力，但是過多的節點帶了擬合能力的同時，也會使得模型的泛化能力下降。
• 隱藏層的層數決定模型的泛化能力，層數越多，模型的推理能力越強，但是隨著層數的變多，會對擬合效果產生影響

2.3 全連接神經網絡在模型中的位置

一般處于整個深層模型的最后部分，由其具有的調節維度的作用，通過指定輸入層與輸出層的節點數，就可以實現從原維度向任意維度的變化，一般前后層的維度控制在5倍以內。

2.3.1 小技巧

搭建多層全連接神經網絡時，對隱藏層的節點設計，應遵循先將維度擴大再縮小的方式進行，會使得模型的擬合效果更好。

總結

以上是生活随笔為你收集整理的【Pytorch神经网络理论篇】 06 神经元+神经网络模型+全连接网络模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。