neuralcoref使用教程-指代消解
生活随笔
收集整理的這篇文章主要介紹了
neuralcoref使用教程-指代消解
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
作者: 明天依舊可好
郵箱: ke.zb@qq.com
編譯器: jupyter notebook
創作時間: 2020.3.1
文章目錄
- 一、什么是指代消解
- 二、案例展示
- 三、進入正題:配置環境
- 四、neuralcoref有哪些函數可以用
neuralcoref與spaCy的配合使用,目前版本上存在不兼容現象(今天是2020.3.1),需要將spaCy降解到2.1.0版本才可以正常使用
pip install spaCy==2.1.0如果事前已經安裝過了,可以使用下面的語句來卸載
pip uninstall spaCy一、什么是指代消解
舉個例子
A 來自湖北,他喜歡吃橘子。B來自湖南,她喜歡吃蘋果。
我們將這段語料輸入到電腦,電腦會就認為這段文字描述的四個人(分別是“A”,“他”,“B”,“她”),實際上文字中的“A”與“他”均是指A,但是電腦是無法理解這個的。
假如我們使用指代消解,電腦就會知道
A 來自湖北,A喜歡吃橘子。B來自湖南,B喜歡吃蘋果。
二、案例展示
先看例子
import en_core_web_sm import spacy nlp = spacy.load('en')import neuralcoref neuralcoref.add_to_pipe(nlp)#我們輸入文本:My sister has a dog. She loves him. doc = nlp(u'My sister has a dog. She loves him.') doc._.coref_resolved''' 輸出:'My sister has a dog. My sister loves a dog.' '''三、進入正題:配置環境
需要安裝的包有:en_core_web_sm、spacy2.1.0、neuralcoref,在命令行中直接使用pip安裝。
1.安裝neuralcoref語句:
pip install neuralcoref2.安裝spacy2.1.0,如果安裝速度過慢建議F墻,不要安裝最新版本,會出現問題的(為你們節約了三天時間)
pip install spacy==2.1.03.安裝en_core_web_sm語句:
pip install en_core_web_sm安裝后可使用上面的案例來檢查,看自己是否成功。
四、neuralcoref有哪些函數可以用
我們借用上面的例子,然后一一調用它們,來看看結果
import en_core_web_sm import spacy nlp = spacy.load('en')import neuralcoref neuralcoref.add_to_pipe(nlp)#我們輸入文本:My sister has a dog. She loves him. doc = nlp(u'My sister has a dog. She loves him.') doc._.coref_resolved我們用下面的方法替換代碼中的最后一行,對比一下輸出結果。
| doc._.has_coref | True | 返回boolean,判斷是否解決了文檔中的指代問題 |
| doc._.coref_clusters | [My sister: [My sister, She], a dog: [a dog, him]] | 返回列表,說明指代關系 |
| doc._.coref_resolved | ‘My sister has a dog. My sister loves a dog.’ | 返回消除指代后的結果 |
| doc._.coref_scores | {My sister: {My sister: 1.3110305070877075},a dog: {a dog: 1.804752230644226, My sister:-1.6715972423553467},She: {She: -0.10834205150604248,My sister: 8.058426856994629,a dog: -1.0625176429748535},him: {him: -1.870743989944458,My sister: 3.1147186756134033,a dog: 4.356405258178711,She: -3.1379528045654297}} | 互指消解分數,簡單來說就是相關性系數 |
官網:【neuralcoref的GitHub官網】
總結
以上是生活随笔為你收集整理的neuralcoref使用教程-指代消解的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 机器学习第11天:朴素贝叶斯模型 - 垃
- 下一篇: 语言检测工具-langid