1. LSTM簡介

• x 輸入順序不同，得到的結(jié)果不同
• 核心：memory
  
  
  
  
  
  
  
  
  
  

2. LSTM training

3. LSTM和RNN的比較（為什么說LSTM可以解決RNN中的梯度消失問題？）

RNN在每個(gè)時(shí)間點(diǎn)計(jì)算產(chǎn)生的輸出會(huì)直接把memory覆蓋掉

而LSTM每個(gè)時(shí)間點(diǎn)產(chǎn)生的輸出會(huì)對原來的memory進(jìn)行累加

如果weight可以影響到memory中的值，則這個(gè)影響則一定會(huì)存在，因?yàn)檫@個(gè)影響是累加的（除非forget gate被使用），但如果在RNN中，每個(gè)時(shí)間點(diǎn)的memory會(huì)被清洗掉，因此會(huì)造成沒有影響的問題，即梯度消失

數(shù)學(xué)解釋：RNN梯度爆炸原因和LSTM解決梯度消失解釋

Gated Recurrent Unit(GRU)

GRU一共兩個(gè)Gate，比LSTM少一個(gè)，原理是將LSTM中的input gate和forget gate聯(lián)動(dòng)起來，如果memory中有未被清洗掉的值，則不會(huì)input新的進(jìn)來，只有當(dāng)被清洗掉，input gate才會(huì)被打開

解決gradient vanish 問題的其他方法：

總結(jié)

以上是生活随笔為你收集整理的【学习笔记】LSTM 李弘毅的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。