数学之美 系列八-- 贾里尼克的故事和现代语言处理
?
數(shù)學之美 系列八-- 賈里尼克的故事和現(xiàn)代語言處理
讀者也許注意到了,我們在前面的系列中多次提到了賈里尼克這個名字。事實上,現(xiàn)代語音識別和自然語言處理確實是和它的名字是緊密聯(lián)系在一起的。我想在這回的系列里,介紹賈里尼克本人。在這里我不想列舉他的貢獻,而想講一講他作為一個普普通通的人的故事。這些事要么是我親身經(jīng)歷的,要么是他親口對我講的。
弗萊德里克.賈里尼克(Fred Jelinek)出生于捷克一個富有的猶太家庭。他的父母原本打算送他去英國的公學(私立學校)讀書。為了教他德語,還專門請的一位德國的家庭女教師,但是第二次世界大戰(zhàn)完全打碎了他們的夢想。他們先是被從家中趕了出去,流浪到布拉格。他的父親死在了集中營,弗萊德自己成天在街上玩耍,完全荒廢了學業(yè)。二戰(zhàn)后,當他再度回到學校時,他的成績一塌糊涂, 全部是 D,但是很快他就趕上了班上的同學。不過,他在小學時從來沒有得過 A。1949年,他的母親帶領(lǐng)全家移民美國。在美國,賈里尼克一家生活非常貧困,全家基本是靠母親做點心賣錢為生,弗萊德自己十四五歲就進工廠打工補助全家。
賈里尼克最初想成為一個律師,為他父親那樣的冤屈者辯護,但他很快意識到他那濃厚的外國口音將使他在法庭上的辯護很吃力。賈里尼克的第二個理想是成為醫(yī)生,他想進哈佛大學醫(yī)學院,但經(jīng)濟上他無法承擔醫(yī)學院 8 年高昂的學費。與此同時麻省理工學院給予了他一份(為東歐移民設(shè)的)全額獎學金。賈里尼克決定到麻省理工學電機工程。在那里,他遇到了信息論的鼻祖香農(nóng)博士,和語言學大師賈格布森 Roman Jakobson (他提出了著名的通信六功能)[注釋一],后來賈里尼克又陪著太太聽最偉大的語言學家喬姆斯基(Noam Chomsky)的課。這三位大師對賈里尼克今后的研究方向--利用信息論解決語言問題產(chǎn)生的重要影響。
賈里尼克從麻省理工獲得博士學位后,在哈佛大學教了一年書,然后到康乃爾大學任教。他之所以選擇康乃爾大學,是因為找工作時和那里的一位語言學家談得頗為投機。當時那位教授表示愿意和賈里尼克在利用信息論解決語言問題上合作。但是,等賈里尼克到康乃爾以后,那位教授表示對語言學在沒有興趣而轉(zhuǎn)向?qū)懜鑴×恕YZ里尼克對語言學家的壞印象從此開始。加上后來他在 IBM 時發(fā)現(xiàn)語言學家們嘴上頭頭是道,干起活來高不成低不就,對語言學家從此深惡痛絕。他甚至說:"我每開除一名語言學家,我的語音識別系統(tǒng)錯誤率就降低一個百分點。" 這句話后來在業(yè)界廣為流傳,為每一個搞語音識別和語言處理的人所熟知。
賈里尼克在康乃爾十年磨一劍,潛心研究信息論,終于悟出了自然語言處理的真諦。1972年,賈里尼克到IBM 華生實驗室(IBM T.G.Watson Labs)做學術(shù)休假,無意中領(lǐng)導了語音識別實驗室,兩年后他在康乃爾和IBM 之間選擇了留在IBM。在那里,賈里尼克組建了陣容空前絕后強大的研究隊伍,其中包括他的著名搭檔波爾(Bahl),著名的語音識別 Dragon 公司的創(chuàng)始人貝克夫婦,解決最大熵迭代算法的達拉皮垂(Della Pietra)孿生兄弟,BCJR 算法的另外兩個共同提出者庫克(Cocke)和拉維夫(Raviv),以及第一個提出機器翻譯統(tǒng)計模型的布朗。
七十年代的 IBM 有點像九十年代的微軟和今天的 Google, 給于杰出科學家作任何有興趣研究的自由。在那種寬松的環(huán)境里,賈里尼克等人提出了統(tǒng)計語音識別的框架結(jié)構(gòu)。 在賈里尼克以前,科學家們把語音識別問題當作人工智能問題和模式匹配問題。而賈里尼克把它當成通信問題,并用兩個隱含馬爾可夫模型(聲學模型和語言模型)把語音識別概括得清清楚楚。這個框架結(jié)構(gòu)對至今的語音和語言處理有著深遠的影響,它從根本上使得語音識別有實用的可能。賈里尼克本人后來也因此當選美國工程院院士。
賈里尼克和波爾,庫克以及拉維夫?qū)θ祟惖牧硪淮筘暙I是 BCJR 算法,這是今天數(shù)字通信中應用的最廣的兩個算法之一(另一個是維特比算法)。有趣的是,這個算法發(fā)明了二十年后,才得以廣泛應用。IBM 于是把它列為了 IBM 有史以來對人類最大貢獻之一,并貼在加州 Amaden 實現(xiàn)室墻上。遺憾的是 BCJR 四個人已經(jīng)全部離開 IBM,有一次IBM 的通信部門需要用這個算法,還得從斯坦福大學請一位專家去講解,這位專家看到 IBM 櫥窗里的成就榜,感慨萬分。
賈里尼克和 IBM一批最杰出的科學家在九十年代初離開了IBM,他們大多數(shù)在華爾街取得了巨大的成功。賈里尼克的書生氣很濃,于是去約翰霍普金斯大學建立了世界著名的 CLSP 實驗室。每年夏天,賈里尼克邀請世界上 20-30 名頂級的科學家和學生到 CLSP 一起工作,使得 CLSP 成為世界上語音和語言處理的中心之一。
賈里尼克治學極為嚴謹,對學生要求也極嚴。他淘汰學生的比例極高,即使留下來的,畢業(yè)時間也極長。但是,另一方面,賈里尼克也千方百計利用自己的影響力為學生的學習和事業(yè)創(chuàng)造方便。賈里尼克為組里的每一位學生提供從進組第一天到離開組最后一天全部的學費和生活費。他還為每一位學生聯(lián)系實習機會,并保證每位學生在博士生階段至少在大公司實習一次。從他那里拿到博士學位的學生,全部任職于著名實驗室,比如IBM, 微軟,AT&T 和 Google 的實驗室。為了提高外國人的英語水平,賈里尼克用自己的經(jīng)費為他們請私人英語教師。
賈里尼克生活儉樸,一輛老式豐田車開了二十多年,比組里學生的車都破。他每年都邀請組里的學生和教授到家里做客,很多畢業(yè)了的學生也專程趕來聚會。在那里,他不再談論學術(shù)問題,而會談些鞏俐的電影(他太太是哥倫比亞大學電影專業(yè)的教授),或是某著名教授被拉斯韋加斯的賭館定為不受歡迎的人等等。但是他聚會的食物實在難吃,無非是些生胡蘿卜和芹菜。后來賈里尼克掏錢讓系里另一個教授承辦聚會,那個教授每次請專業(yè)大廚在家作出極豐盛的晚宴,并準備許多美酒,從此這種聚會就轉(zhuǎn)移到那個教授家了。
除了鞏俐的電影,賈里尼克對中國的了解就是清華大學和青島啤酒了。他有時會把兩個名字搞混,有兩次被香港科技大學的 Pascale 馮教授抓住。
賈里尼克說話心直口快,不留余地。在他面前談論學術(shù)一定要十分嚴謹,否則很容易被他抓住辮子。除了剛才提到的對語言學家略有偏見的評論,他對許多世界級的大師都有過很多“刻薄”但又實事求是的評論,這些評論在業(yè)界廣為流傳。賈里尼克在四十多年的學術(shù)生涯中居然沒有得罪太多的人 ,可以說是一個奇跡。
?
注釋一:
賈格布森的通信模型
1 上下文
2 信息
3 發(fā)送者
4 接收者
5 信道
6 編碼
?
總結(jié)
以上是生活随笔為你收集整理的数学之美 系列八-- 贾里尼克的故事和现代语言处理的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 数学之美 系列七 -- 信息论在信息处理
- 下一篇: 数学之美 系列九 -- 如何确定网页和查