「AI Drive」是由 PaperWeekly 和 biendata 共同發起的學術直播間，旨在幫助更多的青年學者宣傳其最新科研成果。我們一直認為，單向地輸出知識并不是一個最好的方式，而有效地反饋和交流可能會讓知識的傳播更加有意義，從而產生更大的價值。

本期 AI Drive，我們邀請到北京航空航天大學計算機學院博士生張帥，為大家在線解讀 AAAI 2021 最佳論文?Informer：比 Transformer 更有效的長時間序列預測方法。對本期主題感興趣的小伙伴，3 月 23 日（周二）晚 7 點，我們準時相約 PaperWeekly B 站直播間。

直播信息

長時間序列分析預測一直是人工智能基礎理論研究的難點，對工業健康維護、疾病傳播預測、網絡安全分析等關鍵領域具有重要作用。本文指出“傳統循環神經網絡因誤差逐層累積”已不能滿足長序列數據分析的需求，并首次明確了 Transformer 神經網絡架構對長序列問題建模的重要意義。該架構的核心優勢是構建了自注意力機制來捕捉跨長度的前后相關性，但其伴隨的重大挑戰是自注意力操作具有隨輸入長度的二次時間復雜度，無法適用于長序列輸入和輸出。

據此，本論文突破了傳統自注意力的計算復雜度限制，提出一種全新的從概率角度進行自注意力矩陣稀疏化的模型。該模型可以允許以非啟發式的方式對自注意力計算進行長尾顯著性分析，摘取長序列中重要的前后相關性對，可以依采樣方案將計算復雜度降低至對數線性復雜度，使得自注意力滿足長序列分析的建模要求。同時，該論文還提出了注意力蒸餾機制來允許構建更深的長序列堆疊模型，同時通過生成式解碼來實現長序列單次前向輸出。

這是首次在長序列問題上運用 Transformer 神經網絡架構，依靠所提出的可分析稀疏化、注意力蒸餾和生成式解碼組成 Informer 網絡結構，可以在同樣硬件限制下顯著提高序列分析任務性能，為解決長序列問題提供了一種全新的解決方案。

本次分享的具體內容有：?

• 解釋長時間序列分析預測問題

• 介紹 Informer 模型

• 論文實驗結果分析

• 總結

嘉賓介紹

?張帥?/ 北京航空航天大學博士生?

張帥，北京航空航天大學計算機學院博士生，研究方向為機器學習與工業、醫療等產業界中實際問題的結合與應用。參與研制的設備故障預測系統在國家電網山東等省份 1300 余臺大型變壓器上應用，2020 年參與高精尖創新中心的新冠疫情大數據防控分析任務，支撐國家疫情防控決策，得到了國務院辦公廳、北京市衛健委等專函致謝。

直播地址?& 交流群

本次直播將在 PaperWeekly B 站直播間進行，掃描下方海報二維碼或點擊閱讀原文即可免費觀看。線上分享結束后，嘉賓還將在直播交流群內實時 QA，在 PaperWeekly 微信公眾號后臺回復「AI Drive」，即可獲取入群通道。

B 站直播間：

https://live.bilibili.com/14884511

合作伙伴

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的直播 | AAAI 2021最佳论文：比Transformer更有效的长时间序列预测的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。