NER是自然語言處理中相對比較基礎的任務，但卻是非常重要的任務。在NLP中，大部分的任務都需要NER的能力，例如，聊天機器人中，需要NER來提取實體完成對用戶輸入的理解；在信息提取任務中，需要提取相應的實體，以完成對信息的抽取。

本篇介紹NER中常用的方法，從常用的機器學習方法到深度學習的方法。

作者&編輯 | 小Dream哥

1 早期的HMM

早期的一篇介紹HMM在NER中的應用，實驗效果還可以。現在還有一些實體識別有用到HMM，讀此文對于了解NER的發展有一定的好處。

[1] Su, Jian , and J. Su . "Named entity recognition using an HMM-based chunk tagger."?Proc Acl?(2002):473-480.

2 主流NER架構LSTM +CRF?

隨著深度學習的興起，LSTM+CRF變成NER任務的主流方法，下面是一篇較為典型的介紹的LSTM+CRF進行NER任務的文章。

[2] Huang, Zhiheng , W. Xu , and K. Yu . "Bidirectional LSTM-CRF Models for Sequence Tagging."?Computer Science?(2015).

3 討論了CNN進行NER任務

在NLP任務中用CNN進行特征提取一直不是主流，這篇論文在NER中引入CNN。

[3] Chiu, Jason P. C. , and E. Nichols . "Named Entity Recognition with Bidirectional LSTM-CNNs."?Computer Science?(2015).

4 空洞卷積在NER中的應用

因為傳統CNN對長序列的輸入特征提取能力偏弱，有研究者提出將Dilated Convolutions(空洞卷積)應用在NER中的想法。空洞卷積可以加大感受野，提高模型的訓練和預測速度。

[4] Emma Strubell Patrick Verga. Fast and Accurate Entity Recognition with Iterated Dilated Convolutions.?2017

5 Lattice LSTM

中文的NER與英文不太一樣，中文NER問題很大程度上取決于分詞的效果，比如實體邊界和單詞的邊界在中文NER問題中經常是一樣的。

所以在中文NER問題中，有時通常先對文本進行分詞然后再預測序列中單詞的類別。這樣一來會導致一個問題，即在分詞中造成的錯誤會影響到NER的結果。基于字向量的模型能夠避免上述問題，但因為單純采用字向量，導致拆開了很多并不應該拆開的詞語，從而丟失了它們本身的內在信息。

此文提出一種用于中文NER的LSTM的格子模型，與傳統使用字向量的模型相比，它提出的模型顯式地利用了字序列之間的關系，能夠很好的避免分詞錯誤帶來的影響。

[5] Yue Zhang, Jie Yang. Chinese NER Using Lattice LSTM. 2018

6 實體識別與實體匹配

實體匹配是指將識別到的實體與知識庫或者圖譜中實體進行匹配與映射。因此實體匹配與識別是兩個相關性非常高的任務，通過實體匹配，識別到的實體與現實中的概念相連接。這篇論文將實體匹配與識別統一起來訓練，認為兩個任務一起學習，能夠提升兩個任務的準確率。

[6] Pedro Henrique Martins, Zita Marinho. Joint Learning of Named Entity Recognition and Entity Linking. 2019.

7 引入BERT及attention

引入了很多新的概念到命名實體識別中，例如BERT，Attention。感興趣的同學可以看一看，會有蠻大的收益。

[7]?Anton A. Emelyanov,?Ekaterina Artemova.?Multilingual Named Entity Recognition Using Pretrained Embeddings,?Attention Mechanism and NCRF. arXiv preprint? arXiv:1906.09978v1 2019

8 AutoNER

論文提出了一個無需人工標注就可以自動標記數據并訓練NER的模型--AutoNER。實驗表明，AutoNER訓練的模型在3個數據集上均與有監督的benchmark相當。感興趣的同學可以參考下。

[8]?Jingbo Shang, Liyuan Liu.?Learning Named Entity Tagger using Domain-Specifific Dictionary. arXiv preprint? arXiv:1809.03599v1 2018

9?如何獲取文章與交流

找到有三AI開源項目即可獲取。

https://github.com/longpeng2008/yousan.ai

文章細節眾多，閱讀交流都在有三AI-NLP知識星球中進行，感興趣可以加入，掃描下圖中的二維碼即可。

總結

以上就是關于NER的一些重要論文，下一期我們將推薦語義匹配相關的研究。

轉載文章請后臺聯系

侵權必究

往期精選

• 【NLP】自然語言處理專欄上線，帶你一步一步走進“人工智能技術皇冠上的明珠”。

• 【NLP】用于語音識別、分詞的隱馬爾科夫模型HMM

• 【NLP】用于序列標注問題的條件隨機場（Conditional Random Field, CRF）

• 【NLP】經典分類模型樸素貝葉斯解讀

• 【NLP】 NLP專欄欄主自述，說不出口的話就交給AI說吧

• 【NLP】 深度學習NLP開篇-循環神經網絡(RNN)

• 【NLP】 NLP中應用最廣泛的特征抽取模型-LSTM

• 【NLP】 聊聊NLP中的attention機制

• 【NLP】 理解NLP中網紅特征抽取器Tranformer

• 【NLP】 深入淺出解析BERT原理及其表征的內容

• 【每周NLP論文推薦】從預訓練模型掌握NLP的基本發展脈絡

• 【技術綜述】深度學習在自然語言處理中的應用發展

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。