nn.LayerNorm的參數(shù)：

參考：
1、pytorch LayerNorm參數(shù)詳解，計(jì)算過程
2、nn.LayerNorm的具體實(shí)現(xiàn)方法（通過公式復(fù)現(xiàn)）

normalized_shape

如果傳入整數(shù)，比如4，則被看做只有一個(gè)整數(shù)的list，此時(shí)LayerNorm會(huì)對(duì)輸入的最后一維進(jìn)行歸一化，這個(gè)int值需要和輸入的最后一維一樣大。

假設(shè)此時(shí)輸入的數(shù)據(jù)維度是[3, 4]，則對(duì)3個(gè)長(zhǎng)度為4的向量求均值方差，得到3個(gè)均值和3個(gè)方差，分別對(duì)這3行進(jìn)行歸一化（每一行的4個(gè)數(shù)字都是均值為0，方差為1）；LayerNorm中的weight和bias也分別包含4個(gè)數(shù)字，重復(fù)使用3次，對(duì)每一行進(jìn)行仿射變換（仿射變換即乘以weight中對(duì)應(yīng)的數(shù)字后，然后加bias中對(duì)應(yīng)的數(shù)字），并會(huì)在反向傳播時(shí)得到學(xué)習(xí)。
如果輸入的是個(gè)list或者torch.Size，比如[3, 4]或torch.Size([3, 4])，則會(huì)對(duì)網(wǎng)絡(luò)最后的兩維進(jìn)行歸一化，且要求輸入數(shù)據(jù)的最后兩維尺寸也是[3, 4]。

假設(shè)此時(shí)輸入的數(shù)據(jù)維度也是[3, 4]，首先對(duì)這12個(gè)數(shù)字求均值和方差，然后歸一化這個(gè)12個(gè)數(shù)字；weight和bias也分別包含12個(gè)數(shù)字，分別對(duì)12個(gè)歸一化后的數(shù)字進(jìn)行仿射變換（仿射變換即乘以weight中對(duì)應(yīng)的數(shù)字后，然后加bias中對(duì)應(yīng)的數(shù)字），并會(huì)在反向傳播時(shí)得到學(xué)習(xí)。
假設(shè)此時(shí)輸入的數(shù)據(jù)維度是[N, 3, 4]，則對(duì)著N個(gè)[3,4]做和上述一樣的操作，只是此時(shí)做仿射變換時(shí)，weight和bias被重復(fù)用了N次。
假設(shè)此時(shí)輸入的數(shù)據(jù)維度是[N, T, 3, 4]，也是一樣的，維度可以更多。
注意：顯然LayerNorm中weight和bias的shape就是傳入的normalized_shape。

eps

歸一化時(shí)加在分母上防止除零。

elementwise_affine

如果設(shè)為False，則LayerNorm層不含有任何可學(xué)習(xí)參數(shù)。

如果設(shè)為True（默認(rèn)是True）則會(huì)包含可學(xué)習(xí)參數(shù)weight和bias，用于仿射變換，即對(duì)輸入數(shù)據(jù)歸一化到均值0方差1后，乘以weight，即bias。

torch.nn.LayerNorm(normalized_shape: Union[int, List[int], torch.Size],eps: float = 1e-05,elementwise_affine: bool = True) import torch a = torch.tensor([[1,2,4,1],[6,3,2,4],[2,4,6,1]]).float() print(a)

輸出

tensor([[1., 2., 4., 1.],[6., 3., 2., 4.],[2., 4., 6., 1.]])

1.只考慮最低維：每個(gè)維各自按公式計(jì)算即可，不和其他維度摻和

print(nn.LayerNorm([4])(a)) tensor([[-0.8165, 0.0000, 1.6330, -0.8165],[ 1.5213, -0.5071, -1.1832, 0.1690],[-0.6509, 0.3906, 1.4321, -1.1717]],grad_fn=<NativeLayerNormBackward>)

2.考慮最低的2個(gè)維度：計(jì)算最低兩維的12個(gè)元素的方差均值

a = torch.tensor([[1,2,4,1],[6,3,2,4],[2,4,6,1]]).float() print(a) print(nn.LayerNorm([3,4])(a)) tensor([[1., 2., 4., 1.],[6., 3., 2., 4.],[2., 4., 6., 1.]]) tensor([[-1.1547, -0.5773, 0.5773, -1.1547],[ 1.7320, 0.0000, -0.5773, 0.5773],[-0.5773, 0.5773, 1.7320, -1.1547]],grad_fn=<NativeLayerNormBackward>)

總結(jié)

以上是生活随笔為你收集整理的nn.LayerNorm的参数的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。