在大多數(shù)的神經(jīng)網(wǎng)絡(luò)教科書中，神經(jīng)網(wǎng)絡(luò)一般都會(huì)使用 y = WX+B 或者 y = XW+B 的形式。但是在 tensorflow 或者 theano 中，神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)都是采用了 y = XW+B 的形式。這是為什么呢？我花了很多的時(shí)間去查找資料，最后發(fā)現(xiàn)一點(diǎn)，可能是 y = XW+B 計(jì)算導(dǎo)數(shù)比 y = WX+B 容易。

從理論上講，XW+B 和 WX+B 在神經(jīng)網(wǎng)絡(luò)中是等價(jià)的（其實(shí)就是一個(gè)矩陣的轉(zhuǎn)置）。然而，當(dāng)我們計(jì)算兩者的導(dǎo)數(shù)的時(shí)候卻差別很大。我們通過具體的數(shù)學(xué)推導(dǎo)來感受一下吧。

比如：y = XW

?比如：y = WX

注明：完全搬運(yùn)簡書，作者原文已刪除~~~

總結(jié)

以上是生活随笔為你收集整理的深度神经网络：WX+B vs XW+B，作者原文已经删除，转载过来了~~~的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。