上一節中介紹了單層感知機，感知機的輸出節點只有一個，只有$O_0$沒有$O_1$。對于單層感知機的梯度下降公式如下：
$$\frac{?E}{?w_{j0}}=(O_0?t)?O_0(1?O_0)x_j^0$$
即對參數$w_{j0}$的梯度。可以看出$w_{j0}$的梯度跟這一層的輸出權值以及$x_{j0}$有關。

多層感知機模型

其中$x_k^1$表示第一層感知機的第k號節點，$O_k^1$表示經過激活函數后的數值，$w_{jk}^1$表示上一層的第j個節點和對應這一層的第k個節點。

多層感知機梯度

$$\begin{gathered} E=\frac{1}{2}\sum (O_i^1?t_i{)}^2 \\ 當k=i時，才有意義，因此\frac{?E}{?w_{jk}}=(O_k?t_k)\frac{?O_k}{?w_{jk}} \\ \frac{?E}{?w_{jk}}=(O_k?t_k)\frac{?\sigma (x_k)}{?w_{jk}} \\ \frac{?E}{?w_{jk}}=(O_k?t_k)\sigma (x_k)(1?\sigma x(k))\frac{?x_k^1}{?w_{jk}} \\ \frac{?E}{?w_{jk}}=(O_k?t_k)O_k(1?O_k)x_j^0 \end{gathered}$$

PyTorch實現

from torch.nn import functional as Fx = torch.randn(1,10) w = torch.randn(2,10,requires_grad = True) o = torch.sigmoid(x@w.t()) o.shape # torch.Size([1, 2]) loss = F.mse_loss(torch.ones(1,2),o) # tensor(0.1849, grad_fn=<MseLossBackward>) loss.backward() w.grad # tensor([[ 0.1048, 0.0295, 0.0433, 0.0624, 0.0105, -0.0463, 0.0789, -0.0975, # -0.0250, -0.0553], # [ 0.1950, 0.0549, 0.0805, 0.1162, 0.0196, -0.0862, 0.1467, -0.1815, # -0.0464, -0.1029]])

其實多輸出的感知機已經不能叫做感知機了，因為感知機的定義就是一個單一輸出的。而多輸出的感知機相當于標準全連接層的輸出層。

總結

以上是生活随笔為你收集整理的PyTorch教程（十一）：多输出的感知机以及梯度的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。