cs224n第一讲深度自然语言处理
1、什么是NLP?
定義。融合了計算機科學、AI和計算語言學的人工智能領域的一個分支。
NLP levels。單詞結構的形態分析,句子結構的句法分析,語義解釋(結合上下文得出的語義就引出了語用學和語篇處理)。
應用。機器翻譯、口語對話系統、生成開發知識庫、語音識別、情感分析,在商業上掀起研究NLP 的浪潮。
人類語言的特殊之處:一是專門構造用于傳達說話者(寫作者)的意思,二來它是一個分散的、象征性的、絕對的信號系統(語言就是系統)?
2、什么是DL?
深度學習是ML的一個分支,主要研究如何讓計算機自動學習,而不是人工教授、手工寫代碼。
DL是表征學習(representation learning)的一個分支,它試圖獲得多層的習得表征和最佳輸出,實際表現就是你在研究中用到了神經網絡的模型。
探索DL的原因。手工設計的特征不完整、過于專一、設計和證實的時間周期長;習得特征自適應和學習能力好;用于監督學習和無監督學習;表征的信息多樣,視覺的,語言的;效果較之其他機器學習方法明顯提高。
在DL領域首個突破在語音識別上,再是計算機視覺領域(在ImageNet計算機視覺競賽中出色表現)
3、學習前提
Prerequisites
熟練使用培Python;熟悉矩陣、多元微積分、線性代數相關概念;基本概率統計知識;機器學習相關(loss function、optimization with gradient descent)
4、為什么NLP很難?
5、Deep NLP = DL + NLP
近幾年在NLP領域的發展,通過不同的
- 層次:詞匯學,句法學,語義學
- 工具:詞性標注,名稱識別,找句子語法結構
- 應用:機器翻譯,情感分析,聊天助手,問答系統
深度學習和語言都是以詞義為起點(第二講),將一個單詞用向量表示,維度自定義,組成單詞向量(vectors for words),同類型的單詞就會聚集在向量空間中,若要觀察到需要用一些方法,如主成分分析、非線性降維,來投射到二維空間,以便觀察。
Morpheme:the smallest unit of meaning that a word can be divided into.
應用舉例:用神經網絡進行依存句法分析(dependency parsing)
運用DL在NLP的各個應用領域,像機器翻譯,情感分析,聊天助手,問答系統上,都呈現出了大幅度的提高。
小tip:NLP最早進行研究是在美蘇冷戰時開始的。。。
下一講預告
?
轉載于:https://www.cnblogs.com/py-fwg/p/9905794.html
《新程序員》:云原生和全面數字化實踐50位技術專家共同創作,文字、視頻、音頻交互閱讀總結
以上是生活随笔為你收集整理的cs224n第一讲深度自然语言处理的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: c++入门之运算符重载
- 下一篇: delphi使用sqlite数据库时的中