前言

關于“知識”的話題有兩條不同的技術思路。

一條思路認為需要構建知識圖譜，利用符號化的表示手段描述知識，才能完成復雜的語言理解和推理問題。

另外一條思路認為可以利用語言預訓練模型，從大量文本語料中訓練得到一個由大量參數組成的模型，這個模型中包含有參數化表示的知識，可以直接利用這個模型完成智能問答、語言理解、推理等各類任務。

事實上，這兩者并非替代關系，而是互補關系。

文本的預訓練模型主要捕獲的還是詞之間的共現關系，雖然在一定程度上能夠捕獲一些淺層的語義，但是知識層的推理邏輯是復雜的，僅僅依靠詞的共現規律捕獲這些復雜的推理邏輯是十分困難的。

因此，有越來越多的研究工作關注怎樣把知識圖譜和語言預訓練模型結合起來，將知識圖譜注入語言預訓練模型中，以提升預訓練模型處理復雜問題的能力。

02語言預訓練簡介

首先簡要介紹語言預訓練模型。

在2013年，學者們就提出了詞嵌入模型Word2Vec和Glove。

這些模型都是利用詞的上下文獲得每個單詞的詞嵌入向量。一個單詞表達成詞向量后，很容易找出語義相近的其他詞匯。

然而，Word2Vec這類模型無法解決一詞多義問題。比如多義詞 Bank，有兩個常用含義，但是Word2Vec無法區分這兩個含義。

這是因為它們盡管上下文環境不同，但是在用語言模型訓練的時候，不論什么上下文的句子，經過 Word2Vec，都是預測相同的單詞 Bank，而同一個單詞占的是同一行的參數空間，這導致兩種不同的上下文信息都會編碼到相同的嵌入空間。

ELMo 提供了一種更為簡潔優雅的解決方案。

總結

以上是生活随笔為你收集整理的知识图谱应用实战案例100篇（二）-以知识图谱的方式打开预训练语言模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。