自然语言处理简明教程——序言、第一章
序言:
0.1自然語(yǔ)言與人工語(yǔ)言的區(qū)別:
(1)自然語(yǔ)言充滿歧義,而人工語(yǔ)言的歧義是可以控制的
(2)自然語(yǔ)言的結(jié)構(gòu)復(fù)雜多樣,而人工語(yǔ)言的結(jié)構(gòu)相對(duì)簡(jiǎn)單
(3)自然語(yǔ)言的語(yǔ)義表達(dá)千變?nèi)f化,迄今還沒有一種簡(jiǎn)單而通用的途徑來描述它,而人工語(yǔ)言的語(yǔ)義則可以由人來直接定義
(4)自然語(yǔ)言的結(jié)構(gòu)和語(yǔ)義之間有著千絲萬(wàn)縷的、錯(cuò)綜復(fù)雜的聯(lián)系,一般不存在一一對(duì)應(yīng)的同構(gòu)關(guān)系,而人工語(yǔ)言則常常可以把結(jié)構(gòu)和語(yǔ)義分別進(jìn)行處理,人工語(yǔ)言的結(jié)構(gòu)和抑?
? ? ? ? ? 郁之間有著整齊的一一對(duì)應(yīng)的同構(gòu)關(guān)系
? ? ? ? ? 自然語(yǔ)言的這些獨(dú)特性質(zhì),使得自然語(yǔ)言處理成為人工智能領(lǐng)域的一大難題。
0.2 自然語(yǔ)言處理與計(jì)算語(yǔ)言學(xué)的概念區(qū)別:
自然語(yǔ)言處理這個(gè)術(shù)語(yǔ)主要用于說明方法,計(jì)算語(yǔ)言學(xué)這個(gè)術(shù)語(yǔ)主要用于說明理論
0.3當(dāng)前自然語(yǔ)言處理的發(fā)展方向:
(1)隨著語(yǔ)料庫(kù)建設(shè)和語(yǔ)料庫(kù)語(yǔ)言學(xué)的崛起,大規(guī)模真實(shí)文本的處理成為自然語(yǔ)言處理的主要戰(zhàn)略目標(biāo),概率和數(shù)據(jù)驅(qū)動(dòng)的方法幾乎成為了自然語(yǔ)言處理的 標(biāo)準(zhǔn)方法
(2)自然語(yǔ)言處理中越來越多地使用機(jī)器學(xué)習(xí)的方法來獲得語(yǔ)言知識(shí)
(3)統(tǒng)計(jì)數(shù)學(xué)方法越來越受到重視
(4)自然語(yǔ)言處理中越來越重視詞匯的作用
(5)多語(yǔ)言在線自然語(yǔ)言處理技術(shù)迅猛發(fā)展,這是由于網(wǎng)絡(luò)的發(fā)展,互聯(lián)網(wǎng)逐漸變成一個(gè)多語(yǔ)言的網(wǎng)絡(luò)世界,互聯(lián)網(wǎng)上的機(jī)器翻譯、信息檢索、信息抽取等問題的處理變得更加緊迫
在書中的18頁(yè),馮老師列舉了介紹計(jì)算語(yǔ)言學(xué)原理的書籍,都是馮老師曾經(jīng)的作品
第一章
1.1自然語(yǔ)言處理中形式模型的歸納(by:馮志偉老師)
(1)基于短語(yǔ)結(jié)構(gòu)語(yǔ)法的形式模型:主要有喬姆斯基的短語(yǔ)結(jié)構(gòu)語(yǔ)法,遞歸轉(zhuǎn)移網(wǎng)絡(luò)和擴(kuò)充轉(zhuǎn)移網(wǎng)絡(luò),自底向上分析法與自頂向下分析法,通用句法生成器和線圖分析法,Earley算法,左角分析法,CKY算法,Tomita算法,喬姆斯基的管轄—約束理論與最簡(jiǎn)方案,尤喜(A.Joshi)的樹鄰接語(yǔ)法等 (2)基于合一運(yùn)算的形式模型:主要有卡普蘭(R.M.Kaplan)的詞匯功能語(yǔ)法,馬丁?凱依的功能合一語(yǔ)法,蓋茲達(dá)(G.Gazdar)的廣義短語(yǔ)結(jié)構(gòu)語(yǔ)法,錫伯(Shieber)的PATR,珀拉德(C.Pollard)的中心語(yǔ)驅(qū)動(dòng)的短語(yǔ)結(jié)構(gòu)語(yǔ)法,佩瑞拉(F.Pereira)的定子句語(yǔ)法等 (3)基于依存和配價(jià)的形式模型:主要有泰尼埃(L.Tesni`ere)的依存語(yǔ)法,德國(guó)學(xué)者的配價(jià)語(yǔ)法,哈德森(Hudson) 的詞語(yǔ)法等 (4)基于格語(yǔ)法的形式模型:主要有菲爾默(C.J.Fillmore)的格語(yǔ)法和框架網(wǎng)絡(luò) (5)基于詞匯主義的形式模型:主要有格羅斯(M.Gross)的詞匯語(yǔ)法,斯里托(Sleator)和湯佩雷(Temperley)的鏈語(yǔ)法,詞匯語(yǔ)義學(xué),詞網(wǎng)(WordNet)等 (6)基于概率和統(tǒng)計(jì)的形式模型:主要有N元語(yǔ)法,隱馬爾科夫模型,最大熵模型,條件隨機(jī)場(chǎng),查尼阿克(Charniak)的概率上下文無關(guān)語(yǔ)法和詞匯化的概率上下文無關(guān)語(yǔ)法,Bayes公式,動(dòng)態(tài)規(guī)劃算法,噪聲信道模型,最小編輯距離算法,決策樹模型,加權(quán)自動(dòng)機(jī),Viterbi算法,向前算法等 (7)語(yǔ)義自動(dòng)處理的形式模型:主要有義素分析法、語(yǔ)義場(chǎng)理論,語(yǔ)義網(wǎng)絡(luò)理論,蒙塔古的蒙塔古語(yǔ)法,威爾克斯(Y.A.Willks)的優(yōu)選語(yǔ)義學(xué),尚克(R.C.Schank)的概念依存理論,梅里楚克(Mel‘chuk)的意義—文本理論等 (8)語(yǔ)用自動(dòng)處理的形式模型:主要有曼(Mann)和湯姆生(Tompson)的修辭結(jié)構(gòu)理論,文本連貫中的常識(shí)推理技術(shù)等1.2 四種影響較大的邏輯語(yǔ)法
(1)定子句語(yǔ)法(DCG) (2)外位語(yǔ)法(XG) (3)修飾成分結(jié)構(gòu)語(yǔ)法(MSG) (4)約束邏輯語(yǔ)法(PLG)1.3 詞匯語(yǔ)義學(xué) ***(與目前的工作相關(guān))
詞匯語(yǔ)義學(xué)(Lexical Semantics)是現(xiàn)代語(yǔ)義學(xué)和現(xiàn)代詞匯學(xué)結(jié)合的產(chǎn)物,其研究對(duì)象是語(yǔ)言中的詞義問題。它源于語(yǔ)言學(xué),并與語(yǔ)義網(wǎng)、本體論、詞典編纂、知識(shí)表示等人工智能和認(rèn)知科學(xué)密切相關(guān)1.4 自然語(yǔ)言處理對(duì)社會(huì)進(jìn)步的重要作用
主要是介紹了幾個(gè)自然語(yǔ)言處理的具體應(yīng)用,如:自動(dòng)生成天氣預(yù)報(bào)、作文自動(dòng)評(píng)分、語(yǔ)音地理導(dǎo)航燈1.5 語(yǔ)言符號(hào)的特點(diǎn)
馮老師自己在索緒爾(《普通語(yǔ)言學(xué)教程》)的基礎(chǔ)上,總結(jié)了語(yǔ)言符號(hào)的7個(gè)特點(diǎn):語(yǔ)言符號(hào)的層次性、語(yǔ)言符號(hào)的非單元性、語(yǔ)言符號(hào)的離散性、語(yǔ)言符號(hào)的遞歸性、語(yǔ)言符號(hào)的隨機(jī)性、語(yǔ)言符號(hào)的冗余性、語(yǔ)言符號(hào)的模糊性總結(jié)
以上是生活随笔為你收集整理的自然语言处理简明教程——序言、第一章的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 转JS总结1--(CSS书写规范和正则表
- 下一篇: datatables隐藏列设置及获取隐藏