神經(jīng)常微分方程(NODEs)為構(gòu)造(連續(xù)時(shí)間)神經(jīng)網(wǎng)絡(luò)提供了一種新的范式。雖然在參數(shù)的數(shù)量和構(gòu)造神經(jīng)網(wǎng)絡(luò)的靈活性方面顯示出一些良好的特性，但它們也有一些眾所周知的局限性:i)理論上節(jié)點(diǎn)只學(xué)習(xí)同態(tài)映射函數(shù)，ii)有時(shí)節(jié)點(diǎn)在解決積分問(wèn)題時(shí)顯示出數(shù)值不穩(wěn)定性。為了處理這個(gè)問(wèn)題，提出了許多改進(jìn)。然而，據(jù)我們所知，將注意力集成到node中已經(jīng)被忽視了一段時(shí)間。為此，我們提出了一種新的注意性雙協(xié)同進(jìn)化節(jié)點(diǎn)(ACE-NODE)方法:一個(gè)主節(jié)點(diǎn)用于下游機(jī)器學(xué)習(xí)任務(wù)，另一個(gè)主節(jié)點(diǎn)用于向主節(jié)點(diǎn)提供注意。我們的ACE-NODE同時(shí)支持成對(duì)注意和elementwise注意。在我們的實(shí)驗(yàn)中，我們的方法在幾乎所有情況下都比現(xiàn)有的基于node和非基于node的基線有顯著的優(yōu)勢(shì)。

?

?

?

總結(jié)：文中的創(chuàng)新點(diǎn)：將ODE與attention機(jī)制結(jié)合起來(lái)

總結(jié)

以上是生活随笔為你收集整理的ACE-NODE: Attentive Co-Evolving Neural Ordinary DifferentialEquations（KDD 2021）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。