目錄

文章目錄

• 目錄
• Beam Search算法
• • 1. 簡介
  • 2. 算法細節
  • 3. 具體實現
  • 4.算法優化

Beam Search算法

1. 簡介

• 在對話生成任務中，解碼策略有自回歸與非自回歸兩種方法。其中自回歸的解碼策略包括了greedy，beam search，top-k以及top p等方法。每種方法都有自己的優缺點。本文主要針對beam search方法做詳細的介紹。其它相關的解碼策略后面會有相應的文章進行介紹，這里就不多做說明。
• 在自回歸的解碼方法，主要是在inference階段，輸入query，然后decoder一步一步的生成詞,后一個詞的生成依靠前面生成的詞和query，一直到生成終止符停止，最后將所有順序生成的詞連在一起就是一個完整的句子。在每一個step中，模型最后一個一般是來說是dense層，經過softmax之后，會得到一個vocab size的向量。這個過程對于所有的自回歸解碼策略都是一樣的，不同的就是后續的處理流程，比如說，greedy則是取向量元素中最大的值的index對應的詞最后生成的詞。
• 通過上面的描述，我們可以將解碼任務抽象為在一個高為max_len(生成句子的最大長度),

總結

以上是生活随笔為你收集整理的最详尽版本：一文带你了解beam search算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。