Interview：算法崗位面試—上海某科技公司算法崗位(偏AI算法，國(guó)企)技術(shù)面試之BN層的認(rèn)知、BP的推導(dǎo)、GD優(yōu)化的幾種改進(jìn)等

導(dǎo)讀：關(guān)于神經(jīng)網(wǎng)絡(luò)，問(wèn)的比較深，因?yàn)椴┲髯鲞^(guò)總結(jié)，所以用自己的語(yǔ)言和案例解釋的，回答的還算比較全吧。

BN層的認(rèn)知

參考博主以前寫的文章
BN層結(jié)構(gòu)詳解—解決反向傳播過(guò)程中的【梯度消失】與【梯度爆炸】
BN層(批量標(biāo)準(zhǔn)化)采用的理由—舊解釋：解決內(nèi)部協(xié)變量偏移
BN層(批量標(biāo)準(zhǔn)化)采用的理由—新解釋： BN層優(yōu)化更加平滑

BP的推導(dǎo)

DL之BP：神經(jīng)網(wǎng)絡(luò)算法簡(jiǎn)介之BP算法簡(jiǎn)介(鏈?zhǔn)椒▌t/計(jì)算圖解釋)、案例應(yīng)用之詳細(xì)攻略
DL之DNN之BP：神經(jīng)網(wǎng)絡(luò)算法簡(jiǎn)介之BP算法/GD算法之不需要額外任何文字，只需要八張圖講清楚BP類神經(jīng)網(wǎng)絡(luò)的工作原理

GD優(yōu)化的幾種改進(jìn)

參考博主以前寫的文章
DL之DNN優(yōu)化技術(shù)：GD、SGD、Momentum、NAG、Ada系列、RMSProp各種代碼實(shí)現(xiàn)之詳細(xì)攻略
DL之DNN優(yōu)化技術(shù)：神經(jīng)網(wǎng)絡(luò)算法簡(jiǎn)介之GD/SGD算法(BP的梯度下降算法)的簡(jiǎn)介、理解、代碼實(shí)現(xiàn)、SGD缺點(diǎn)及改進(jìn)(Momentum/NAG/Ada系列/RMSProp)之詳細(xì)攻略

1、Momentum(根據(jù)歷史梯度進(jìn)行加強(qiáng))—?jiǎng)恿坑兄谠谡_方向上加速梯度，從而越過(guò)溝壑
2、NAG—下山過(guò)程中，根據(jù)對(duì)下一步要到達(dá)的點(diǎn)的預(yù)測(cè)，來(lái)自適應(yīng)調(diào)整速度
3、Adagrad—對(duì)不同的參數(shù)(頻繁/非頻繁特征相關(guān)的參數(shù))調(diào)整不同的學(xué)習(xí)率
4、Adadelta—Adagrad的改進(jìn)版+引入時(shí)間窗(衰減因子)—解決Adagrad的學(xué)習(xí)率急劇下降
5、RMSProp—自適應(yīng)學(xué)習(xí)率方法—解決Adagrad的學(xué)習(xí)率急劇下降
6、Adam—計(jì)算每個(gè)參數(shù)的自適應(yīng)學(xué)習(xí)率的方法+本質(zhì)上是帶動(dòng)量項(xiàng)的RMSprop

總結(jié)

以上是生活随笔為你收集整理的Interview：算法岗位面试—上海某科技公司算法岗位(偏AI算法，国企)技术面试之BN层的认知、BP的推导、GD优化的几种改进等的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。