單層感知機模型

$$\begin{gathered} y=XW+b \\ y=\sum x_i?w_i+b \end{gathered}$$

單層感知機模型的每一個輸入節(jié)點$x_i$和對應的權重$w_i$相乘累加后，與bias相加，便得到了預測值。

我們使用sigmoid函數作為激活函數，通常使用符號$\sigma$表示。
對于最左邊的輸入層的上標，也就是$x_n^0$中的0表示第0層，n表示第0層第n個元素節(jié)點。

從$w$到$\sigma$是1層，$w_{ij}^1$表示第1層,i表示連接的上一層$x_i$，j表示本層的第j個節(jié)點。因為上圖中只有一層，所以j=0 。$x_0^1$中1表示第一層，0表示第一層的0號節(jié)點【這里討論單層輸出感知機，所以第一層只有一個節(jié)點】。$x_0^1$經過激活函數之后，有一個輸出值$O_0^1$，其中1表示第一層，0表示第0號節(jié)點。

隨后，$O_0^1$與target值計算：$Error（Loss）=\sum (O_0^1?target{)}^2$

梯度

Loss計算公式：
$$E=\frac{1}{2}(O_0^1?t{)}^2$$
這里引入了一個額外的$\frac{1}{2}$是為了與求導后的數2抵消掉。不會影響單調性的。
$$\begin{gathered} \frac{?E}{?w_{j0}}=(O_0?t)?\frac{O_0}{?w_{j0}} \\ \frac{?E}{?w_{j0}}=(O_0?t)\frac{\sigma (x_0^1)}{?w_{j0}} \\ \frac{?E}{?w_{j0}}=(O_0?t)\sigma (x_0)(1?\sigma (x_0))\frac{?x_0^1}{?w_{j0}} \end{gathered}$$
求導之前需要先向右計算一次所有的變量值，這就是向前傳播
$$\frac{?x_0}{?w_{j0}}=\frac{?\sum w_{j0}{x}_j^0}{?w_{j0}}=x_j^0$$
因此上面的公式得到最終結果：
$$\frac{?E}{?w_{j0}}=(O_0?t))O_0(1?O_0)x_j^0$$

方法實現

輸入10個特征的x

x = torch.randn(1,10) # tensor([[ 0.5817, -1.1089, -0.9756, -0.4556, -0.2144, -1.1662, 1.9232, 0.2331, # -1.2987, -0.4950]]) w = torch.randn(1,10,requires_grad = True) # tensor([[-1.0490, -1.7553, 0.1665, -0.0458, -0.8664, -0.3328, -0.1398, 1.2416, # 1.3097, -0.4996]], requires_grad=True) o = torch.sigmoid(x@w.t()) # tensor([[0.5831]], grad_fn=<SigmoidBackward>) loss = F.mse_loss(torch.ones(1,1),o) # tensor(0.1738, grad_fn=<MseLossBackward>) loss.backward() w.grad # tensor([[-0.1179, 0.2248, 0.1977, 0.0923, 0.0435, 0.2364, -0.3898, -0.0472, # 0.2632, 0.1003]])

這樣就得到了每一個$w$的梯度，隨后可以根據$w^{\prime }=w?0.001??w$來更新參數了。

總結

以上是生活随笔為你收集整理的PyTorch教程（十）：单层感知机以及梯度更新的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。