作者丨張瑋瑋

學校丨東北大學碩士生

研究方向丨情緒識別

引言

論文動機
近年來，腦電圖 (EEG) 在處理情感識別方面得到了廣泛的應用。雖然近年來人們提出了各種各樣的腦電信號情感識別方法，但為了進一步提高腦電信號的情感識別性能，仍有一些重要問題需要深入研究。
首要問題是如何從腦電信號中提取具有魯棒性的高級語義特征，相對于手工特征而言，如何提取更具區別性的時空域深度特征。第二個問題是哪些大腦區域對情緒識別更有貢獻，以及如何利用這些腦區域的地形圖信息來提高 EEG 的情緒識別。第三個問題是如何利用腦電信號在不同腦區的時間信息來提高情緒識別。
論文工作

作者提出了一種新的 EEG 情感識別方法。該方法由具有區域到全局層次特征學習過程的空間和時間神經網絡模型組成，以 R2G-STNN 表示，學習具有鑒別性的時空腦電圖特征。采用雙向長短時記憶 (BiLSTM) 網絡，分別捕捉電極在腦區和腦區之間的內在空間關系，以了解腦電電極的空間特征。
考慮到不同的腦區在腦電情感識別中所起的作用不同，在 R2G-STNN 模型中引入區域注意層，學習一組權值，以增強或削弱腦區的貢獻。基于空間特征序列，BiLSTM 學習區域和全部時空特征，領域判別器和分類器同時工作用以減弱領域偏移。基于以上提出的方法，本文在 SEED 數據集上設計了跨被試和被試混淆實驗，并取得了很好的效果。

網絡模型

R2G-STNN 方法由三個主要部分組成，如圖 1 所示，即特征提取器部分，分類器部分，判別器部分。

▲?圖1. R2G-STNN模型架構

特征提取器

空間域特征提取如圖 2 所示。為了學習時域特征，表示一個由 T=9 個相鄰 EEG 片段組成的一個 EEG 樣本，d,n 分別表示每個電極對應的特征數目，和電極數目。

首先，作者將??分為若干組，每個組對應大腦分區的電極，從而在每個腦區形成一組區域特征向量，具體分區如圖 3 與表 1 所示。接著，區域特征向量送入 BiLSTM 網絡學習區域深度特征，并且引入區域注意層，學習一組權值，以增強或削弱腦區的貢獻。最后，加權區域特征向量進一步輸入 BiLSTM，學習全腦深度特征。

▲?圖2. 從區域到全腦空間域特征學習過程
▲?圖3. 腦區域分類圖?? ? ?

▲?表1.?腦區域電極分類表

對于腦分區時域特征的提取，表示第?j?個腦區第?i 個腦電特征，則腦分區的特征表示為。

因此，我們可以將 BiLSTM 應用于特征向量序列間的時間信息學習，得到如下區域時間特征向量：

全腦時域特征提取基于全局特征矩陣，將按列串聯成，最終特征向量包含區域和全局信息的腦電圖樣本 X（由 T 段組成）。

分類器與判別器

在腦電情感識別中，值得注意的是，訓練和測試腦電數據樣本可能來自不同的領域，例如，訓練和測試數據樣本來自不同的受試者。在這種情況下，基于訓練數據訓練的情緒識別模型可能不適用于測試數據。為了解決這一問題，我們引入了一個分類器與判別器協同工作來產生鑒別性強和領域不變的情感特征。

分類器與一般深度學習的相同，損失函數可以表示為：

在判別器部分，假定分別來自源域和目標域，為了消減領域差異，損失函數表示為：

通過最大化識別器的上述損失函數，特征提取過程會產生域不變的特征，從而消減情緒識別中的域差異。

實驗設計與結果

被試混淆實驗

作者在每個 session 選擇 9 個腦電信號的試驗用作訓練數據集，并使用同一時段的其他 6 項試驗作為測試數據，并且計算 15 名受試者的平均識別精度和標準差作為最終識別結果。實驗結果如表 2 與表 3 所示。

▲?表2. 被試混淆實驗結果

▲?表3.?被試混淆5個頻段實驗結果

跨被試實驗

跨被試腦電情感識別問題，其中訓練的腦電圖數據樣本和測試的腦電圖數據樣本來自不同的受試者。為此，作者采用 LOSO 交叉驗證策略進行實驗，循環取一名受試者的腦電信號作為測試數據，其余所有受試者的腦電圖信號作為訓練數據。在每個受試者使用一次測試數據后，計算所有識別精度的平均值，實驗結果如表 4 與表 5 所示。

▲?表4.?跨被試實驗結果
▲?表5.?跨被試5個頻段實驗結果

結論

在本文中，作者提出了一個新穎的 R2G-STNN 方法對腦電信號進行情感識別，分層的學習過程從區域到全腦提取時空腦電圖特征。在 SEED 腦電情感數據庫上的大量實驗表明，R2G-STNN 方法在被試混淆和跨被試的腦電情感識別方面均取得了較好的效果。

點擊以下標題查看更多往期內容：?

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文

總結

以上是生活随笔為你收集整理的从局部脑到全脑：时空域分层神经网络脑电情绪识别模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。