一 序

? 本文屬于NLP學(xué)習(xí)筆記系列。

二 停用詞

對(duì)于NLP的應(yīng)用，我們通常將停用詞、出現(xiàn)頻率很低的詞過濾掉。

關(guān)于停用詞詞典，可以看下之前的：?文本預(yù)處理與停用詞

這個(gè)主要是對(duì)業(yè)務(wù)影響不大，不影響分析，類似于特征篩選的過程。

要考慮自己的應(yīng)用場(chǎng)景。

case：一些形容詞通常會(huì)過濾掉，但是在情感分析中表達(dá)語(yǔ)氣要保留。

自己會(huì)做修改。

三 詞的標(biāo)準(zhǔn)化

? 這塊就是英文的。舉例：went,go,going? 時(shí)態(tài)不同，還有單復(fù)數(shù)，比較級(jí)等等。

? 涉及技術(shù)：

? ?詞干提取（stemming）是抽取詞的詞干或詞根形式（不一定能夠表達(dá)完整語(yǔ)義）

??詞形還原（lemmatization），是把一個(gè)任何形式的語(yǔ)言詞匯還原為一般形式（能表達(dá)完整語(yǔ)義）

? 中文不涉及，所以就不看了。感興趣的可以看看porter stemmer.

總結(jié)

以上是生活随笔為你收集整理的NLP 学习笔记9-停用词的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。