原文連接：https://sinews.siam.org/Details-Page/reservoir-computing-harnessing-a-universal-dynamical-system

目前人們對開發(fā)用于處理海量數(shù)據(jù)集的人工智能算法非常感興趣，通常用于分類任務(wù)，例如識別照片中的面部。但是，如果我們的目標是學(xué)習(xí)一個確定性的動力系統(tǒng)呢？相關(guān)應(yīng)用包括預(yù)測天氣，控制復(fù)雜的動力系統(tǒng)，以及指紋識別射頻發(fā)射器以保護物聯(lián)網(wǎng)。訓(xùn)練“通用”動力系統(tǒng)來預(yù)測所需系統(tǒng)的動力學(xué)是解決這個問題的一種方法，非常適合于水庫計算（RC）：一種用于處理時間相關(guān)信息的循環(huán)人工神經(jīng)網(wǎng)絡(luò)（見圖1）。它可以在許多模式下操作，包括預(yù)測模式，上述任務(wù)。雖然研究人員已經(jīng)研究了RCs超過20年[1]并成功應(yīng)用于各種任務(wù)[2]，但仍有許多開放性問題，動力系統(tǒng)社區(qū)可能會感興趣并能夠解決。RC與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)的區(qū)別在于以下特性：

• 每個網(wǎng)絡(luò)節(jié)點都具有不同的動態(tài)行為
• 信號的時間延遲可能沿著網(wǎng)絡(luò)鏈路發(fā)生
• 網(wǎng)絡(luò)的隱藏部分具有循環(huán)連接
• 輸入和內(nèi)部權(quán)重是固定的并隨機選擇
• 在訓(xùn)練期間僅調(diào)整輸出權(quán)重。(加速訓(xùn)練)
  
  

Figure 1.. Illustration of the reservoir computer architecture. Figure credit: Daniel J. Gauthier.

數(shù)學(xué)上，RC由一組自治的，時滯微分方程描述

非線性函數(shù)f通常是S形的，我們可以采用開關(guān)閾值（布爾）函數(shù)的極限，如在傳統(tǒng)的Hopfield網(wǎng)絡(luò)中所做的那樣。儲層將J維輸入數(shù)據(jù)流映射到更高維度的相空間 - 維度擴展

對于預(yù)測任務(wù)，我們使用有限持續(xù)時間的“訓(xùn)練”數(shù)據(jù)樣本調(diào)整權(quán)重W_out，以便得到的輸出以最小二乘意義表示輸入數(shù)據(jù)。訓(xùn)練之后，輸入信號斷開，輸出連接到輸入以開始預(yù)測階段。 更詳細地，通過在時間T_train上注入輸入訓(xùn)練數(shù)據(jù)集U并在該間隔上觀察網(wǎng)絡(luò)動態(tài)X來確定W_out。基于這些觀察，我們修改權(quán)重以將輸出YY的誤差最小化到期望的輸出Y_des，從而得到
我們可以使用偽逆矩陣例程在最小二乘意義上求解上式，這些例程通常包含在各種計算機語言中，其中一些可以利用矩陣的稀疏性。非零值確保W_out的范數(shù)不會變大，這改善了系統(tǒng)對不同輸入的普遍性并增加了噪聲容限。我們還可以使用梯度下降方法的解決方案，這在矩陣維度很大時很有用，并利用來自深度學(xué)習(xí)社區(qū)的工具包利用圖形處理單元。使用遞歸最小二乘法是另一種方法。
RC可以在預(yù)測任務(wù)中很好地工作。例如，當(dāng)在訓(xùn)練之前將儲層動力學(xué)投射到較低維度的相空間時，可以學(xué)習(xí)動力系統(tǒng)的吸引子[3]。我們還可以通過標準訓(xùn)練方法學(xué)習(xí)吸引子，并從RC產(chǎn)生的時間序列中準確地找到Lyapunov指數(shù)，甚至是時空動力系統(tǒng)[7]。此外，我們可以將預(yù)測的時間序列用作控制系統(tǒng)中的觀察者[4]，或者用于大型時空系統(tǒng)的數(shù)據(jù)同化而不使用基礎(chǔ)模型[6]。這些結(jié)果表明RC是表征復(fù)雜動力系統(tǒng)的有力工具。 雖然這些結(jié)論很有說服力，但為特定任務(wù)設(shè)計RC很大程度上是一種反復(fù)試驗，而作者傾向于提供有效的結(jié)果，而不是那些失敗的結(jié)果。以下是一個懸而未決的問題：我們?nèi)绾蝺?yōu)化模型中的參數(shù)以在預(yù)測或分類任務(wù)中獲得最準確的預(yù)測，同時允許RC在類似于數(shù)據(jù)的數(shù)據(jù)上運行良好訓(xùn)練數(shù)據(jù)集？早期的研究集中在網(wǎng)絡(luò)的所謂回聲狀態(tài)屬性 - 輸出最終應(yīng)該忘記輸入和一致性屬性，相同試驗的輸出在某些時期應(yīng)該是相似的。當(dāng)Wres的光譜半徑小于1時（對于bi = 0的情況），最初假設(shè)這些條件得到保證。 但是，這種情況忽略了輸入動態(tài)（input dynamics），主要是X = 0穩(wěn)定性的陳述。最近的工作開始解決單輸入通道情況的這一缺點，證明在給定輸入的情況下必須有一個完整的輸出解決方案[5]。 雖然存在過去研究的基礎(chǔ)，但許多需要定量和嚴格答案的問題仍然存在。例如，N必須有多大才能達到理想的錯誤率？我們應(yīng)該如何調(diào)整γi相對于原始動力系統(tǒng)的時間尺度？為什么稀疏連接的儲層經(jīng)常表現(xiàn)最好？ 在去年五月在猶他州Snowbird舉行的2017年SIAM動力系統(tǒng)應(yīng)用會議上，Edward Ott和作者組織了一次關(guān)于RCs的minisymposium討論這些問題和其他問題。 Ott表明，RC可以學(xué)習(xí)動態(tài)系統(tǒng)的“氣候”，并以可擴展的方式準確預(yù)測時空混亂。 Roger Brockett表示，密集的網(wǎng)絡(luò)連接可能會導(dǎo)致儲層節(jié)點的部分或完全同步，從而減少RC可以學(xué)習(xí)的波形的多樣性。 Brian Hunt建議，當(dāng)用于預(yù)測任務(wù)時，RC必須以廣義的意義與輸入數(shù)據(jù)同步。最后，我討論了一種能夠以超過幾十MHz的速率進行預(yù)測的基于硬件的RC。 總之，RC可以作為一個能夠?qū)W習(xí)其他系統(tǒng)動力學(xué)的通用動力系統(tǒng)。例如，當(dāng)獲得用于學(xué)習(xí)的動力系統(tǒng)的數(shù)據(jù)昂貴或困難時，這可能證明是有利的。雖然該領(lǐng)域正在迅速發(fā)展，但仍有大量空缺可供其他人加入。 References
[1] Jaeger, H., & Haas, H. (2004). Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication.?Science, 304(5667), 78-80.
[2] Larger, L., Baylón-Fuentes, A., Martinenghi, R., Udaltsov, V.S., Chembo, Y.K., & Jacquot, M. (2017). High-speed photonic reservoir computing using time-delay-based architecture: Million words per second classification.?Phys. Rev. X, 7, 011015.
[3] L?kse, S., Bianchi, F.M., & Jessen, R. (2017). Training echo state networks with regularization through dimensionality reduction.?Cogn. Comput., 9, 364.
[4] Lu, Z., Pathak, J., Hunt, B., Girvan, M., Brockett, R., & Ott, E. (2017). Reservoir observers: Model-free inference of unmeasured variables in chaotic systems.?Chaos, 27, 041102.
[5] Manjunath, G., & Jaeger, H. (2013). Echo State Property Linked to an Input: Exploring a Fundamental Characteristic of Recurrent Neural Networks.?Neur. Comp., 25, 671.
[6] Pathak, J., Hunt, B., Girvan, M., Lu, Z., & Ott, E. (2018). Model-free prediction of large spatiotemporally chaotic systems from data: A reservoir computing approach.?Phys. Rev. Lett., 120, 024102.
[7] Pathak, J., Lu, Z., Hunt, B.R., Girvan, M., & Ott, E. (2017). Using machine learning to replicate chaotic attractors and calculate Lyapunov exponents from data. Preprint,?arXiv:1710.07313.

?

轉(zhuǎn)載于:https://www.cnblogs.com/skykill/p/9319950.html

總結(jié)

以上是生活随笔為你收集整理的Reservoir Computing: Harnessing a Universal Dynamical System的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。