讀論文《Recurrent neural network based language model 》

標簽（空格分隔）： 論文

---

introduce

本文將循環神經網絡RNN引入了神經網絡語言模型，用RNN對歷史信息的存儲代替以n為窗口的上下文。

作者將語言模型中的隱藏層作為狀態存儲單元，以當前單詞的詞嵌入和上一狀態的疊加作為輸入，輸出對下一個單詞的預測。

method

本文的網絡結構只是在NNLM的基礎上將上一次的隱藏層與當前單詞疊加作為輸入。由于使用了RNN使用不行要再使用大小為n的上下文窗口。網絡結構如下：

神經網絡各層計算公式如下：

其中f()為sigmoil函數，g()為softmax函數

作者以下列方式對低頻詞進行處理

my view

1.RNN是時間維度上歷史信息的共享，但只有一個簡單的隱藏層，能表達豐富多樣的歷史信息嗎？
2.RNN的隱藏層是否可以看作語言空間里面當前的語義狀態向量？是否可以用RNN和詞嵌入構造段落或文本的語義？
3.如何將LSTM更好的用到神經網絡語言模型。
4.本文的RNNLM主要是做語言模型，那它的詞嵌入的質量怎么樣，因為所有的詞嵌入都是基于全部歷史信息的，會不會其中單詞的詞嵌入的語義更近與語料語境下的語義，而不是它的一般語義？

本文地址：http://blog.csdn.net/qq_31456593/article/details/77528735

參考材料
《Recurrent neural network based language model 》

總結

以上是生活随笔為你收集整理的读论文《Recurrent neural network based language model 》的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。