列向量

先說一個(gè)很重要的結(jié)論：機(jī)器學(xué)習(xí)中的向量是列向量。
另一個(gè)結(jié)論：用分號(hào)分隔不同的行，用逗號(hào)分隔同一行中的不同元素。

在線性代數(shù)中，列向量（Column vector）是一$m\times 1$的矩陣，即矩陣由一個(gè)包含$m$個(gè)元素的列組成。
書寫方式1：

$$?\begin{array}{c}{x}_1\\ x_2\\ ?\\ x_m\end{array}?$$

為簡化書寫、方便排版起見，有時(shí)會(huì)以加上轉(zhuǎn)置符號(hào)T的行向量表示列向量。
書寫方式2：
$$X=[x_1,x_2,...,x_n{]}^T$$

為進(jìn)一步化簡，習(xí)慣上會(huì)把行向量和列向量都寫成行的形式。不過行向量的元素是用空格或逗號(hào)隔開，列向量則用分號(hào)隔開。
書寫方式3：

$$\left[\begin{array}{cc}0& ?1\\ 1& 0\end{array}\right]$$

X=[x1; x2; x3; x4]
這種方式也可以用于矩陣的書寫。
兩行兩列的矩陣，可寫為

$$A=[0,?1;1,0]$$

注：有人使用()，而非[]。

機(jī)器學(xué)習(xí)中的向量

我們以最簡單的線性回歸為例：
$$f(X)=w_1{x}_1+w_2{x}_2+w_3{x}_3+b$$
我們令：
$$\begin{array}{rl}W=& [w_1,w_2,w_3{]}^T\\ X=& [x_1,x_2,x_3{]}^T\end{array}$$
則$f(X)=W^T?X+b$

深度學(xué)習(xí)中的向量

我們以一個(gè)簡單大深度學(xué)習(xí)為例：
5個(gè)輸入節(jié)點(diǎn)—第一隱藏層3個(gè)節(jié)點(diǎn)----第二隱藏層4個(gè)節(jié)點(diǎn)----2個(gè)輸出節(jié)點(diǎn)。全連接。
輸入為(51)：
$$X=[x1,x2,x3,x4,x5{]}^T$$
第一隱層(35)：
$$\begin{array}{rl}W1& =[w11,w12,w13,w14,w15;w21,w22,w23,w24,w25;w31,w32,w33,w34,w35]\\ B1& =[b1,b2,b3{]}^T\end{array}$$
第二隱層(43)：
$$\begin{array}{rl}W2& =[w11,w12,w13;w21,w22,w23;w31,w32,w33;w41,w42,w43]\\ B2& =[b1,b2,b3,b4{]}^T\end{array}$$
輸出層節(jié)點(diǎn)(24)：
$$\begin{array}{rl}W3=& [w11,w12,w12,w14;w21,w22,w23,w24]\\ B3=& [b1,b2{]}^T\end{array}$$

所以計(jì)算過程為（不考慮激活函數(shù)）：

$f1=W1?X+B1$, 輸出維度為$(3?5)?(5?1)=3?1$

$f2=W2?f1+B2$，輸出維度為$(4?3)?(3?1)=4?1$

$f=W3?f2+B3$, 輸出維度為$(2?4)?(4?1)=2?1$
最終輸出為[o1,o2]^T

總結(jié)：
每一層的W維度為：節(jié)點(diǎn)數(shù)量上一層的輸出數(shù)量
每一層的輸入維度為上一層的(輸出數(shù)量1)
B的維度為：節(jié)點(diǎn)數(shù)量1
每一層的輸出維度為：節(jié)點(diǎn)數(shù)量1

總結(jié)

以上是生活随笔為你收集整理的机器学习中的向量的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。