說到文章摘要大家并不陌生，就是給長(zhǎng)文本在不丟失任何重要信息的情況下做個(gè)精確的總結(jié)。具體有哪些方法呢？可以看以下總結(jié)。

文章摘要

• 基于抽取的文章摘要(Extraction-based)
  1 詞頻 (Leverage word frequencies)
  2 Textrank (Leverage embeddings similarity with TextRank)
  3 embedding聚類 (Leverage embeddings and clustering)
• 基于概要的文章摘要(Abstraction-based)
  1 seq2seq模型 (Seq-to-seq models and supervised learning)

基于抽取的文章摘要

從長(zhǎng)文本中提取代表最重要要點(diǎn)的單詞或句子的子集，并結(jié)合起來形成摘要，結(jié)果在語法上可能不準(zhǔn)確。

基于概要的文章摘要

使用深度學(xué)習(xí)技術(shù)（主要在seq-to-seq模型中）像人類一樣解釋和縮短原始文檔。由于抽象機(jī)器學(xué)習(xí)算法可以生成代表源文本中最重要信息的新短語和句子，因此它們可以幫助克服基于抽取技術(shù)的語法錯(cuò)誤。

雖然抽象在文本摘要方面表現(xiàn)得更好，但開發(fā)其算法需要復(fù)雜的深度學(xué)習(xí)技術(shù)和復(fù)雜的語言建模。因此，抽取式文本摘要方法仍然廣泛流行。

Leverage word frequencies

清除文檔中的停用詞、數(shù)字、標(biāo)點(diǎn)符號(hào)和其他特殊字符。

把文檔拆分成句子。

計(jì)算每個(gè)單詞在文檔中出現(xiàn)的次數(shù)，并將其除以文檔中出現(xiàn)頻率最高的單詞的出現(xiàn)次數(shù)，以獲得單詞頻率。

將出現(xiàn)在同一句子中的所有單詞的詞頻相加，并獲得每個(gè)句子的分?jǐn)?shù)。

句子的分?jǐn)?shù)高于某個(gè)閾值，并將其用作文章摘要。

Extraction-based summarization with TextRank

把文檔分成幾個(gè)句子。

算出每個(gè)句子的句向量。

構(gòu)建一個(gè)圖，其中節(jié)點(diǎn)是句子，邊權(quán)重是句子嵌入的相似性（如余弦相似性）。

在圖上運(yùn)行PageRank算法，以獲得每個(gè)句子的PageRank分?jǐn)?shù)。PageRank分?jǐn)?shù)高表示節(jié)點(diǎn)對(duì)網(wǎng)絡(luò)很重要。

保留分?jǐn)?shù)高于某個(gè)閾值的句子，將其用作文檔摘要。

Extraction-based summarization with sentence embeddings and clustering

解析文檔中的共同引用。

把文檔拆分成句子。

獲得每個(gè)句子的句向量（例如使用BERT）。

對(duì)句子嵌入使用K-Means，得到K個(gè)簇。K是總結(jié)中的句子數(shù)。

找到最接近每個(gè)聚類中心的句子，并使用它們來撰寫摘要。

Abstraction-based summarization with seq-to-seq models

獲取一個(gè)包含文檔和摘要的數(shù)據(jù)集。

為文本摘要選擇合適的metric，例如ROUGE。

訓(xùn)練一個(gè)seq-to-seq模型（如transformer），以監(jiān)督方式從文本中生成摘要。

參考文獻(xiàn)

• TextRank:https://cran.r-project.org/web/packages/textrank/vignettes/textrank.html
• pagerank:https://en.wikipedia.org/wiki/PageRank
• 基于bert的摘要抽取:https://github.com/dmmiller612/bert-extractive-summarizer
• kmeans:https://en.wikipedia.org/wiki/K-means_clustering
• rouge:https://en.wikipedia.org/wiki/ROUGE_(metric)

總結(jié)

以上是生活随笔為你收集整理的文本摘要方法总结的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。