1. 線性感知機(jī)

例如一個(gè)房屋價(jià)格預(yù)測(cè)問題。輸入 x 是房屋面積大小，輸出 y 是房屋的價(jià)格。如果要預(yù)測(cè)價(jià)格與面積的關(guān)系，最簡單的一種模型就是 y 與 x 近似線性相關(guān)。

如上圖所示，紅色圓圈表示真實(shí)樣本的價(jià)格與面積分布，藍(lán)色虛線表示預(yù)測(cè)線性模型。這種最簡單的線性模型被稱為線性感知機(jī)模型。線性感知機(jī)模型的基本結(jié)構(gòu)如下：

其中， w 為權(quán)重系數(shù)（ Weights ）， b 為偏移量（ Bias ）。線性感知機(jī)模型表征了房屋價(jià)格與單一變量（房屋面積）的線性關(guān)系。

既然我們認(rèn)為 x 和 y 滿足線性相關(guān)關(guān)系，那么線性函數(shù)： y = wx + b，就是我們的模型函數(shù)。其中 y 也可以用 f(x) 來表示。

我們要做的是綜合利用所有的訓(xùn)練數(shù)據(jù)（房屋面積大小 x）求出 y = wx + b 中常數(shù) w 和 b 的值。

在將訓(xùn)練樣本的 x 逐個(gè)帶入后，得出的預(yù)測(cè)房價(jià) y’ = wx + b 與真實(shí)房價(jià) y 整體的差異最小。具體的一個(gè)樣本的 y 和 y’ 的差異用 (y’-y)來表示。

線性回歸 ！= 直線
線性回歸模型是：利用線性函數(shù)對(duì)一個(gè)或多個(gè)自變量 （x 或 (x1,x2,…xk)）和因變量（y）之間的關(guān)系進(jìn)行擬合的模型。也就是說，線性回歸模型構(gòu)建成功后，這個(gè)模型表現(xiàn)為線性函數(shù)的形式。

線性函數(shù)的定義是：一階（或更低階）多項(xiàng)式，或零多項(xiàng)式。當(dāng)線性函數(shù)只有一個(gè)自變量時(shí)，y = f(x)。

f(x) 的函數(shù)形式是：
f(x) = a + bx （a、b 為常數(shù)，且 b≠0）—— 一階多項(xiàng)式
或者 f(x) = c (c 為常數(shù)，且 c≠0) —— 零階多項(xiàng)式
或者 f(x) = 0 —— 零多項(xiàng)式

但如果有多個(gè)獨(dú)立自變量，比如影響房價(jià)的還有城市、地理位置、交通分布、周邊環(huán)境等等因素。因此，y=f(x1,x2,…,xk)的函數(shù)形式則是：

f(x1,x2,…,xk)=a+b1x1+b2x2+…+bkxk

也就是說，只有當(dāng)訓(xùn)練數(shù)據(jù)集的特征是一維的時(shí)候，線性回歸模型可以在直角坐標(biāo)系中展示，其形式是一條直線。

但如果樣本特征本身是多維的，則最終的線性模型函數(shù)是一個(gè)多維空間內(nèi)的[一階|零階|零]多項(xiàng)式。
總結(jié)一下：

• 特征是一維的，線性模型在二維空間構(gòu)成一條直線；
• 特征是二維的，線性模型在三維空間中構(gòu)成一個(gè)平面；
• 若特征是三維的，則最終模型在四維空間中構(gòu)成一個(gè)體，以此類推。

見下圖：

2. 單神經(jīng)元

單個(gè)神經(jīng)元（ Neuron ）與線性感知機(jī)的基本結(jié)構(gòu)非常類似，只是在線性的基礎(chǔ)上增加了非線性單元，目的是為了讓模型更加復(fù)雜。

這里的非線性單元指的就是激活函數(shù)。這樣，線性感知機(jī)和非線性單元就構(gòu)成了單個(gè)神經(jīng)元。

單個(gè)神經(jīng)元描述的是輸出與單一變量之間的關(guān)系。還是上面的例子，如果房屋價(jià)格不僅與房屋面積有關(guān)，還和房間數(shù)目、地理位置等多個(gè)因素有關(guān)。這樣，輸入 x 不再是單一變量，而是由房屋面積、房間數(shù)目、地理位置等組成的多維向量。因此，我們就可以使用多個(gè)神經(jīng)元來構(gòu)建一個(gè)更加復(fù)雜的模型。

3. 多神經(jīng)元

如上圖所示， x1、x2、x3 表示輸入元素，[Math Processing Error]? 表示神經(jīng)元。h1、h2、h3 是隱藏層神經(jīng)元，之所以設(shè)置隱藏層神經(jīng)元是為了分別從不同輸入中提取特征，再將這些特征經(jīng)過輸出層神經(jīng)元 out ，預(yù)測(cè)房價(jià) g 。每一個(gè)隱藏層神經(jīng)元與每個(gè)輸入元素都進(jìn)行連接，這保證了提取信息的完整性。這個(gè)模型就是最簡單的神經(jīng)網(wǎng)絡(luò)模型。

上面隱藏層個(gè)數(shù)為什么是 3？其實(shí)，隱藏層神經(jīng)元個(gè)數(shù)不是固定的，可以是 2，也可以是 4，它是個(gè)可調(diào)參數(shù)。更深入地，上面的神經(jīng)網(wǎng)絡(luò)模型只有單隱藏層，如果問題比較復(fù)雜，訓(xùn)練樣本比較多，我們可以使用更多隱藏層，每一隱藏層的神經(jīng)元個(gè)數(shù)都可以設(shè)置。一般來說，層數(shù)越多越深，神經(jīng)網(wǎng)絡(luò)模型模型越復(fù)雜，學(xué)習(xí)能力越強(qiáng)。這樣的深層神經(jīng)網(wǎng)絡(luò)就被稱為深度學(xué)習(xí)模型。

深度學(xué)習(xí)模型除了標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)（ Neural Network ，NN）之外，還包括卷積神經(jīng)網(wǎng)絡(luò)（ Convolutional Neural Network ，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（ Recurrent Neural Network ，RNN）。

CNN 多應(yīng)用于機(jī)器視覺、圖像處理， RNN 多應(yīng)用于序列模型、語音處理等。

傳統(tǒng)的機(jī)器學(xué)習(xí)算法，例如線性回歸、邏輯回歸、支持向量機(jī)、決策樹、隨機(jī)森林等能夠處理很多問題，實(shí)際應(yīng)用也非常廣泛。許多數(shù)據(jù)挖掘競(jìng)賽、機(jī)器學(xué)習(xí)算法大賽、Kaggle 等，傳統(tǒng)的機(jī)器學(xué)習(xí)算法都有著很優(yōu)秀的表現(xiàn)。但是，隨著互聯(lián)網(wǎng)的興起與蓬勃發(fā)展，每天都有海量的數(shù)據(jù)產(chǎn)生，如何從大數(shù)據(jù)中尋找規(guī)律建立準(zhǔn)確的模型，深度學(xué)習(xí)逐漸發(fā)揮其優(yōu)勢(shì)，呈現(xiàn)出比傳統(tǒng)機(jī)器學(xué)習(xí)更強(qiáng)的能力。

本文參考：
https://gitbook.cn/gitchat/column/5b447b698b5d4b11e880d287/topic/5b447df08b5d4b11e880d3e4

總結(jié)

以上是生活随笔為你收集整理的机器学习概念 — 线性感知机、线性回归、单个神经元、多层次神经元的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。