NLP近幾年非常火，且發(fā)展特別快。像BERT、GPT-3、圖神經(jīng)網(wǎng)絡、知識圖譜等技術應運而生。我們正處在信息爆炸的時代、面對每天鋪天蓋地的網(wǎng)絡資源和論文、很多時候我們面臨的問題并不是缺資源，而是找準資源并高效學習。但很多時候你會發(fā)現(xiàn)，花費大量的時間在零零散散的內(nèi)容上，但最后發(fā)現(xiàn)效率極低，浪費了很多寶貴的時間。為了迎合大家學習的需求，我們這次重磅推出了《自然語言處理終身升級版》。

課程覆蓋了從經(jīng)典的機器學習、文本處理技術、序列模型、深度學習、預訓練模型、知識圖譜、圖神經(jīng)網(wǎng)絡所有必要的技術。

重點：課程會不斷更新，比如一篇新的有趣的論文出現(xiàn)在arxiv，我們會在1個月之內(nèi)提供技術的講解和實戰(zhàn)。我相信這個課程將是你在NLP領域中的終身伴侶。

01 課程大綱

第一部分：機器學習基礎篇

第一章：自然語言處理概述

• 自然語言處理的現(xiàn)狀與前景

• 自然語言處理應用

• 自然語言處理經(jīng)典任務

?

第二章：數(shù)據(jù)結構與算法基礎

• 時間復雜度、空間復雜度

• 動態(tài)規(guī)劃

• 貪心算法

• 各種排序算法

第三章：分類與邏輯回歸

• 邏輯回歸

• 最大似然估計

• 優(yōu)化與梯度下降法

• 隨機梯度下降法

第四章：模型泛化與調(diào)參

• 理解過擬合、防止過擬合

• L1與L2正則

• 交叉驗證

• 正則與MAP估計

第二部分：文本處理篇

第五章：文本預處理與表示

• 各類分詞算法

• 詞的標準化

• 拼寫糾錯、停用詞

• 獨熱編碼表示

• tf-idf與相似度

• 分布式表示與詞向量

• 詞向量可視化與評估

第六章：詞向量技術

• 獨熱編碼的優(yōu)缺點

• 分布式表示的優(yōu)點

• 靜態(tài)詞向量與動態(tài)詞向量

• SkipGram與CBOW

• SkipGram詳解

• Negative? Sampling

第七章：語言模型

• 語言模型的作用

• 馬爾科夫假設

• UniGram, BiGram, NGram模型

• 語言模型的評估

• 語言模型的平滑技術

第三部分：序列模型篇

第八章：隱馬爾科夫模型

• HMM的應用

• HMM的Inference

• 維特比算法

• 前向、后向算法

• HMM的參數(shù)估計詳解

第九章：線性條件隨機場

• 有向圖與無向圖

• 生成模型與判別模型

• 從HMM與MEMM

• MEMM中的標簽偏置

• Log-Linear模型介紹

• 從Log-Linear到LinearCRF

• LinearCRF的參數(shù)估計

?

第四部分：深度學習與預訓練篇

第十章：深度學習基礎

• 理解神經(jīng)網(wǎng)絡

• 各種常見的激活函數(shù)

• 反向傳播算法

• 淺層模型與深度模型對比

• 深度學習中的層次表示

• 深度學習中的過擬合

第十一章：RNN與LSTM

• 從HMM到RNN模型

• RNN中的梯度問題

• 梯度消失與LSTM

• LSTM到GRU

• 雙向LSTM

• 雙向深度LSTM

第十二章：Seq2Seq模型與注意力機制

• Seq2Seq模型

• Greedy Decoding

• Beam Search

• 長依賴所存在的問題

• 注意力機制的實現(xiàn)

第十三章：動態(tài)詞向量與ELMo技術

• 基于上下文的詞向量技術

• 圖像識別中的層次表示

• 文本領域中的層次表示

• ELMo模型

• ELMo的預訓練與測試

• ELMo的優(yōu)缺點

第十四章：自注意力機制與Transformer

• LSTM模型的缺點

• Transformer概述

• 理解自注意力機制

• 位置信息的編碼

• 理解Encoder和Decoder區(qū)別

• 理解Transformer的訓練與預測

• Transformer的缺點

第十五章：BERT與ALBERT

• 自編碼介紹

• Transformer Encoder

• Masked語言模型

• BERT模型

• BERT的不同訓練方式

• ALBERT?
  

第十六章：BERT的其他變種

• RoBERTa模型

• SpanBERT模型

• FinBERT模型

• 引入先驗知識

• K-BERT

• KG-BERT

第十七章：GPT與XLNet

• Transformer Encoder回顧

• GPT-1, GPT-2,? GPT-3

• ELMo的缺點

• 語言模型下同時考慮上下文

• Permutation LM

• 雙流自注意力機制

第五部分：信息抽取與知識圖譜篇

?

第十八章：命名識別與實體消歧

• 信息抽取的應用和關鍵技術

• 命名實體識別

• NER識別常用技術

• 實體統(tǒng)一技術

• 實體消歧技術

• 指代消解

第十九章：關系抽取

• 關系抽取的應用

• 基于規(guī)則的方法

• 基于監(jiān)督學習的方法

• Bootstrap方法

• Distant Supervision方法

第二十章：句法分析

• 句法分析的應用

• CFG介紹

• 從CFG到PCFG

• 評估語法樹

• 尋找最好的語法樹

• CKY算法

第二十一章：依存文法分析

• 從語法分析到依存文法分析

• 依存文法分析的應用

• 基于圖算法的依存文法分析

• 基于Transition-based的依存文法分析

• 依存文法的應用案例

第二十二章：知識圖譜

• 知識圖譜的重要性

• 知識圖譜中的實體與關系

• 非結構化數(shù)據(jù)與構造知識圖譜

• 知識圖譜設計

• 圖算法的應用

第六部分：模型壓縮與圖神經(jīng)網(wǎng)絡篇

第二十三章：模型的壓縮

• 模型壓縮重要性

• 常見的模型壓縮總覽

• 基于矩陣分解的壓縮技術

• 基于蒸餾的壓縮技術

• 基于貝葉斯模型的壓縮技術

• 模型的量化

第二十四章：基于圖的學習

• 圖的表示

• 圖與知識圖譜

• 關于圖的常見算法

• Deepwalk和Node2vec

• TransE圖嵌入算法

• DSNE圖嵌入算法

第二十五章：圖神經(jīng)網(wǎng)絡

• 卷積神經(jīng)網(wǎng)絡回顧

• 在圖中設計卷積操作

• 圖中的信息傳遞

• 圖卷積神經(jīng)網(wǎng)絡

• 圖卷積神經(jīng)網(wǎng)絡的經(jīng)典應用

第二十六章：GraphSage與GAT

• 從GCN到GraphSAge

• 注意力機制回歸

• GAT模型詳解

• GAT與GCN比較

• 對于異構數(shù)據(jù)的處理

第二十七章：圖神經(jīng)網(wǎng)絡的其他應用

• Node Classification

• Graph Classification

• Link Prediction

• 社區(qū)挖掘

• 推薦系統(tǒng)

• 圖神經(jīng)網(wǎng)絡的未來發(fā)展

課程其他的細節(jié)可以聯(lián)系課程顧問來獲取

添加課程顧問微信

報名、課程咨詢

????????????

02?課程中的部分案例

1. 實現(xiàn)一個拼寫糾錯器

? ? ? ? 2.?從零實現(xiàn)Word2Vec詞向量

? ? ? ? 3. 利用SkipGram做推薦

? ? ? ? 4. 從零實現(xiàn)HMM模型

? ? ? ? 5. 基于Linear-CRF的詞性分類器實現(xiàn)

? ? ? ? 6. 從零實現(xiàn)深度學習反向傳播算法

? ? ? ? 7. 實現(xiàn)AI程序幫助寫程序

? ? ? ? 8. 實現(xiàn)AI程序幫助寫文章

9. 基于Transformer的機器翻譯

? ? ? ?10. 基于KG-BERT的知識圖譜學習

? ? ? ?11. 基于知識圖譜的風控系統(tǒng)

? ? ? ?12. 基于知識圖譜的個性化教學

? ? ? ?13. 利用蒸餾算法壓縮Transformer

? ? ? ?14. 利用GCN實現(xiàn)社交推薦

? ? ? ?15. 基于GAT的虛假新聞檢測

? ??? （剩下20+個案例被折疊，完整請咨詢...）

03?課程中的部分項目作業(yè)

????? ??

1.?豆瓣電影評分預測

? ??涉及到的知識點：

• 中文分詞技術

• 獨熱編碼、tf-idf

• 分布式表示與Word2Vec

• BERT向量、句子向量

2. 智能客服問答系統(tǒng)

? ??涉及到的知識點：

• 問答系統(tǒng)搭建流程

• 文本的向量化表示

• FastText

• 倒排表

• 問答系統(tǒng)中的召回、排序

3. 基于Linear-CRF的醫(yī)療實體識別

? ??涉及到的知識點：

• 命名實體識別

• 特征工程

• 評估標準

• 過擬合

4. 基于閑聊的對話系統(tǒng)搭建

? ??涉及到的知識點：

• 常見的對話系統(tǒng)技術

• 閑聊型對話系統(tǒng)框架

• 數(shù)據(jù)的處理技術

• BERT的使用

• Transformer的使用

5. 搭建基于醫(yī)療知識圖譜的問答系統(tǒng)

? ??涉及到的知識點：

• 醫(yī)療專業(yè)詞匯的使用

• 獲取問句的意圖

• 問句的解釋、提取關鍵實體

• 轉化為查詢語句

6. 搭建基于醫(yī)療知識圖譜的問答系統(tǒng)

? ??涉及到的知識點：

• 文本摘要生成介紹

• 關鍵詞提取技術

• 圖神經(jīng)網(wǎng)絡的摘要生成

• 基于生成式的摘要提取技術

• 文本摘要質量的評估

04?課程中帶讀的部分論文

主題	論文名稱
機器學習	XGBoost: A Scalable Tree Boosting System
機器學習	Regularization and Variable Selection via the Elastic Net
詞向量	Evaluation methods for unsupervised word embeddings
詞向量	Evaluation methods for unsupervised word embeddings
詞向量	GloVe: Global Vectors for Word Representation
詞向量	Deep Contexualized Word Representations
詞向量	Attention is All You Need
詞向量	BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding
詞向量	XLNet: Generalized Autoregressive Pretraining for Language Understanding
詞向量	KG-BERT: BERT for Knowledge Graph Completion
詞向量	Language Models are Few-shot Learners
圖學習	Semi-supervised Classification with Graph Convolutional Networks
圖學習	Graph Attention Networks
圖學習	GraphSAGE: Inductive Representation Learning on Large Graphs
圖學習	Node2Vec: Scalable Feature Learning for Networks
被折疊	其他數(shù)十篇文章......

05 課程適合誰？

大學生

• 理工科相關專業(yè)的本科/碩士/博士生，畢業(yè)后想從事NLP工作的人

• 希望能夠深入AI領域，為科研或者出國做準備

• 希望系統(tǒng)性學習NLP領域的知識
  

在職人士

• 目前從事IT相關的工作，今后想做跟NLP相關的項目

• 目前從事AI相關的工作，希望與時俱進，加深對技術的理解

• 希望能夠及時掌握前沿技術

06?報名須知

1、本課程為收費教學。

2、本期僅招收剩余名額有限。

3、品質保障！正式開課后7天內(nèi)，無條件全額退款。

4、學習本課程需要具備一定的機器學習基礎。

●●●

課程其他的細節(jié)可以聯(lián)系課程顧問來獲取

添加課程顧問微信

報名、課程咨詢

????????????

總結

以上是生活随笔為你收集整理的2021年自然语言处理(NLP)算法学习路线！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。