在閱讀Richard S. Sutton和Andrew G. Barto合著的《Reinforcement Learning:An Introduction》第一版時(shí)，我們就看到作者在書的開頭單列一頁寫到“In memory of A. Harry Klopf”，但網(wǎng)上幾乎搜索不到關(guān)于 A. Harry Klopf的資料。在第一版的前言部分，也僅僅有兩句話提及了Harry，分別是：

“我們?cè)?979年末開始關(guān)注現(xiàn)在所謂的強(qiáng)化學(xué)習(xí)。我們都在馬薩諸塞大學(xué)，致力于一個(gè)早期項(xiàng)目即復(fù)興 ‘ 對(duì)于人工適應(yīng)性智能（ artificial adaptive intelligence）來說，神經(jīng)元自適應(yīng)元素網(wǎng)絡(luò)（networks of neuronlike adaptive elements）可能被證明是一種有前途的方法 ’ 的想法。該項(xiàng)目探索了由A. Harry Klopf開發(fā)的‘自適應(yīng)系統(tǒng)的異質(zhì)性理論（heterostatic theory of adaptive systems）’。哈利的工作是豐富的思想來源，我們被允許批判性地探索它們，并將它們與自適應(yīng)系統(tǒng)中先前工作的悠久歷史進(jìn)行比較。”

“在某種意義上，我們已經(jīng)為這本書工作了三十年，我們有很多人要感謝。首先，我們感謝那些親自幫助我們發(fā)展本書中提出的整體觀點(diǎn)的人：Harry Klopf，幫助我們認(rèn)識(shí)到強(qiáng)化學(xué)習(xí)需要復(fù)興；…”

從以上兩段話我們可以看到，Harry啟發(fā)了作者去探索強(qiáng)化學(xué)習(xí)，并為他們做了一些前期工作。我們可以從另一句同樣來自第一版前言中的話話窺得一二：“雖然強(qiáng)化學(xué)習(xí)明顯激發(fā)了一些最早的有關(guān)學(xué)習(xí)的計(jì)算研究，但大多數(shù)研究人員已經(jīng)開始研究其他方面，例如模式分類，監(jiān)督學(xué)習(xí)和自適應(yīng)控制，或者他們完全放棄了關(guān)于學(xué)習(xí)的研究。因此，學(xué)習(xí)如何從環(huán)境中獲取某些東西所涉及的特殊問題得到的關(guān)注相對(duì)較少。”由此，作者選擇了這一條少有人走的路——強(qiáng)化學(xué)習(xí)，一走就是四十年。
　　但是我們得到的有關(guān)Harry的信息仍然有限，直到2018年12月《強(qiáng)化學(xué)習(xí)》第二版的出現(xiàn)，在這一版的前言部分，作者用半頁多的筆墨講述了他們和Harry的故事，現(xiàn)摘抄并翻譯如下：
“與第一版一樣，本書的這一版本致力于紀(jì)念A(yù). Harry Klopf。正是哈利把我們介紹給對(duì)方，正是他對(duì)大腦和人工智能的想法引發(fā)了我們對(duì)強(qiáng)化學(xué)習(xí)的長(zhǎng)期探索。Harry在神經(jīng)生理學(xué)方面受過長(zhǎng)期訓(xùn)練，對(duì)機(jī)器智能很感興趣，他曾是俄亥俄州賴特 - 帕特森空軍基地空軍科學(xué)研究所（AFOSR）的航空電子理事會(huì)的高級(jí)科學(xué)家。他對(duì)在解釋自然智能和為機(jī)器智能提供基礎(chǔ)方面強(qiáng)調(diào)包括動(dòng)態(tài)平衡和糾錯(cuò)模式分類方法在內(nèi)的均衡尋求過程的重要性表示不滿。（He was dissatisfied with the great importance attributed to equilibrium-seeking processes, including homeostasisand error-correcting pattern classification methods, in explaining natural intelligence and in providing a basis for machine intelligence.）他指出，試圖最大化某些東西（無論可能是什么）的系統(tǒng)在本質(zhì)上與均衡尋求系統(tǒng)不同，他認(rèn)為最大化系統(tǒng)是理解自然智能的重要方面和構(gòu)建人工智能的關(guān)鍵。Harry幫助從AFOSR獲得資金，用于評(píng)估這些和相關(guān)想法的科學(xué)價(jià)值的項(xiàng)目。該項(xiàng)目于20世紀(jì)70年代末在馬薩諸塞州阿默斯特大學(xué)（UMass Amherst）進(jìn)行，最初由Michael Arbib，William Kilmer和Nico Spinelli領(lǐng)導(dǎo)，他們是阿默斯特大學(xué)計(jì)算機(jī)與信息科學(xué)系的教授，也是該大學(xué)系統(tǒng)神經(jīng)科學(xué)控制論中心的創(chuàng)始成員，一個(gè)專注于神經(jīng)科學(xué)和人工智能交叉的有遠(yuǎn)見的團(tuán)隊(duì)。Barto，那時(shí)是一位剛獲得博士學(xué)位的密歇根大學(xué)學(xué)生，被聘為該項(xiàng)目的博士后研究員。與此同時(shí)，在斯坦福大學(xué)攻讀計(jì)算機(jī)科學(xué)和心理學(xué)的本科生Sutton與Harry就他們對(duì)刺激時(shí)間在經(jīng)典限制下的作用的共同興趣進(jìn)行了交流。（Sutton, an undergraduate studying computer science and psychology at Stanford, had been corresponding with Harry regarding their mutual interest in the role of stimulus timing in classical conditioning. ）Harry向阿默斯特大學(xué)小組建議，Sutton將是該項(xiàng)目的一個(gè)很好的補(bǔ)充。因此，Sutton成為阿默斯特大學(xué)的研究生，并在Barto的指導(dǎo)下獲得了博士學(xué)位，此時(shí)Barto已成為副教授。本書中提到的強(qiáng)化學(xué)習(xí)研究正是Harry策劃的項(xiàng)目的結(jié)果，并受到他的思想的啟發(fā)。此外，Harry將我們作者帶到一起，進(jìn)行了長(zhǎng)期愉快的互動(dòng)。通過將這本書獻(xiàn)給Harry，我們向他表示敬意，不僅因?yàn)樗盐覀儙нM(jìn)了強(qiáng)化學(xué)習(xí)領(lǐng)域，而且還使我們相互合作。”
　　以上翻譯原文來自于《強(qiáng)化學(xué)習(xí)》第二版前言部分，部分專有名詞由機(jī)器翻譯，如有翻譯錯(cuò)誤希望大家指正。

參考資料：《強(qiáng)化學(xué)習(xí)》第二版PDF

總結(jié)

以上是生活随笔為你收集整理的A. Harry Klopf是谁？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。