論文和源碼：https://download.csdn.net/download/qq_45874683/85088303
（論文加源碼）基于deap的腦電情緒識別，構建腦圖的二維卷積（提取了功率譜密度psd和微分熵DE）

摘要

? ? ? ?本文提出了一種新的情緒識別模型，該模型以腦圖為輸入，以喚醒和效價為輸出提供情緒狀態。腦圖是從腦電信號中提取的特征的空間表示。該模型被稱為多任務卷積神經網絡（MT-CNN），使用微分熵（DE）和功率譜密度（PSD），并考慮0.5s的觀察窗口，由四種不同頻段的不同波（α、β、γ和θ）的疊加腦圖構成。該模型在DEAP數據集上進行訓練和測試，DEAP數據集是一個用于比較的著名數據集。該模型的準確度在價態維度上為96.28%，在喚醒維度方面，獲得了96.62%的準確率，這項工作表明，MT-CNN的性能優于其他方法。

---

引言

EEG信號能客觀地反映多種情緒，是檢測真實情緒的可靠方法。

?原始EEG信號易受噪聲影響，且難以分析，因此產生高分辨魯棒特征的問題

?EEG腦圖是從EEG信號中提取的特征的空間表示

---

貢獻：

?我們提出了一種基于腦圖EEG表示的多任務CNN，結合PSD和DE特征

?我們利用正則化方法，使我們能夠在更廣泛的主題子集上訓練模型

?我們利用多任務方法提出了一個單一的情感識別模型，并增加了模型領域的知識

?我們在基準數據集上進行了大量實驗，實驗結果表明，我們的模型始終優于所有最先進的模型

---

目的:

? ? ? ?本文的主要目的是構建一個進化模型，為科學家未來的研究提供幫助。從作為輸入的大腦地圖中，我們可以在喚醒維度和價態維度中對情緒進行分類。為此，第一步是通過微分熵（DE）和功率譜密度（PSD）創建腦圖。它們與電極位置的空間信息相結合，可以創建多個2D陣列作為所提出方法的輸入。基于之前在該領域的工作，輸入通過CNN模型傳遞，選擇CNN模型是因為它能夠分析空間分布的數據表示，并且計算效率高。

---

框架：

setuptools>=52.0.0 keras>=2.7.0 numpy>=1.19.5 tensorflow>=2.7.0 scikit-learn>=0.24.1 scipy>=1.4.1

---

特征選擇：

? ? ? ?選定的特征在情感檢測和構建腦圖方面非常重要。EEG信號容易受到噪聲的影響，因此該特征必須提供有關信號的最佳信息。我們遵循之前工作中描述的方法，其中建立了4D特征結構，包括頻率、空間和時間特征。基于之前所做的工作，原始EEG信號被劃分為Ts長度段，不重疊以增加數據量。然后將片段分解為alpha、beta、gamma和theta波段。在0赫茲到30赫茲以上的范圍內，大腦活動中有五種不同的波，Delta波屬于0-4赫茲范圍，經常在深度睡眠中觀察到；這在清醒人的情緒識別中并不顯著。其他描述從放松到大腦高度活動或興奮狀態的波形通常用于使用EEG信號的情緒識別。

? ? ? ?提取每個波段的DE和PSD來描述這些不同的波。PSD描述信號中存在的功率，它是頻域中最常用的功能之一，用于實現情感識別，并消除信號的復雜性。然后，從原始EEG信號中提取的每個頻帶的PSD和DE向量被轉換為腦圖，以保留電極位置的空間信息。如圖所示，腦圖是在所有四個頻段測量的PSD和DE的2D表示。對于每一個0.5s的窗口，所有波段和特征的大腦圖都會被創建并深度疊加。每個腦圖都是模型的輸入，高度h=8，寬度w=9，深度d=8。

---

模型

? ? ? ?這項研究利用了一個fully convolutional卷積的體系結構，因為它能夠推理像圖像一樣的數據，并且這種體系結構的GPU學習過程高度優化。圖顯示了所提出的全CNN多任務神經網絡的總體結構。該模型的輸入是一個腦圖，它是EEG信號的空間譜表示。該模型由四個二維卷積層、一個完全連接層以及上述每個層之后的dropout和批量歸一化層組成。最后，輸出到兩個流：前者用于分類受試者的配價水平，后者用于喚醒水平。ReLU用作激活功能。分類層使用一個sigmoidal函數來獲得類似概率的輸出。對模型進行了收斂性訓練

---

訓練過程

? ? ? ?在最新研究中，在訓練過程中，只有特定于受試者的數據子集被用來最大限度地提高情緒識別的表現。眾所周知，為了提高深度學習模型的泛化能力，需要大量的訓練數據集。但是，由于EEG數據中的高度跨學科可變性，使用受試者進行訓練會導致模型性能的退化。為了在訓練過程中利用廣泛的主題，我們在研究中使用了人工神經網絡的正則化方法，包括dropout、批量歸一化和學習率指數衰減。

? ? ? ?最終模型的性能定義采用五次交叉驗證法。在每個分區中，122880張大腦地圖用作訓練集，30720張用作測試集。模型采用反向傳播法進行訓練。交叉熵損失被用作成本函數。最后的模型使用多任務學習原理進行訓練。多任務學習是一種使用單個模型或其一部分來解決多個問題的方法。因此，同時解決不同的任務有利于模型的泛化。?此外，這種方法允許在訓練和推理過程中節省計算資源，因為在一次過程中，模型會同時針對多個任務進行訓練。在這項研究中，我們處理兩項任務：效價分類和覺醒水平。最終損失函數是原始損失函數的加權和，然后可以使用反向傳播方法來解決問題。它可以表示為：

?最終模型的性能定義通過五次交叉驗證方法確定。通過以下訓練超參數訓練模型收斂：

? ? ? ?本實驗中使用的模型受4D-CRNN模型（之前的博客介紹過）的啟發。最初，模型的輸入數據具有4D結構X∈ R h×w×d×T，深度d=4，代表以DE為特征的四個波段。在本文中，對前面介紹的更改進行了修改，以最終獲得3D大腦地圖，表示每0.5s記錄的信號X的PSD、DE和電極的空間位置∈ R h×w×d，深度d=8表示四個波段，但包括DE和PSD作為特征。結果結構被簡化，以便更快地學習。通過移除RNN層，這些輸入用于為簡單的CNN結構提供信息。如圖顯示了每次修改對模型性能的影響。

不同的模型的比較：

? ? ? ?我們將該模型與現有的基于腦電信號或腦圖的情緒識別模型進行了比較。僅使用DEAP數據集進行比較，以進行有意義的比較。表二給出了每種方法的效價和喚醒準確度的比較。該模型的準確度在價態維度上為96.28%，比Multi-column CNN高出6.27%、比SAE-LSTM高出15.18%、比4D-CRNN高出2.06%的，比FBCCNN高出6.02%的。在喚醒維度方面，獲得了96.62%的準確率，在其他模型方法分別高出5.97%、22.24%、2.04%和7.72%。

---

?討論

? ? ? ?本文提出了一種基于腦圖的情緒識別新方法。上述對比分析表明，我們提出的方法比其他方法獲得了更好的性能。

? ? ? ?首先，電極的位置包含分析的重要信息。如4D-CRNN一樣，空間特征與其他特征的結合可以定義為大腦地圖。這樣，在模型中傳遞腦圖比直接使用EEG信號可以得到更好的結果。4D-RCNN模型也基于腦圖，但結果比我們的模型差，配價和覺醒分別為94.22%和94.58%，而多任務CNN分別為96.28%和96.62%。這可以通過在DE中添加特征PSD來解釋，而不是只使用DE，并在訓練期間利用正則化。

? ? ? ?通常，使用EEG信號或腦圖的情緒識別模型使用特定的主題方法。本文提出的方法表明，基于整個數據集，所有被試同時進行，使用結構簡單、對圖像表現良好且快速的CNN，我們比文獻中提出的其他方法獲得了更好的結果。最后，在本文中，該模型是一個單一的配價和喚醒分類任務。該模型以多任務方式訓練，只允許有一個模型來預測效價和覺醒，而不是像其他方法那樣有兩個模型。

---

結論

? ? ? ?這篇文章的主要目的是利用腦圖創建情緒識別模型。如前一節所述，該模型基于從腦電信號（如DE和PSD）中提取的不同特征。表二告訴我們，這種方法比以前的方法提供了更好的結果。該方法在不考慮使用精度較低的設備實時記錄的腦電信號的情況下，顯示了記錄的高質量腦電信號的結果。它給出了配價和喚醒的結果，而不是作為一種情緒，然而，仍然可以考慮模型改進。

? ? ? ?事實上，我們看到，添加由PSD功能創建的腦圖，比僅使用由DE功能創建的大腦地圖效果更好。因此，我們可以在現有特征的基礎上添加新的特征，比如標準差。另一種方法是使用比我們現在使用的數據多得多的數據來訓練和測試模型。跨數據集方法將允許將模型推廣到實際問題。最后一個可以顯著提高情緒識別性能的改進是使用多模態方法。例如，與使用EEG信號提取特征相比，同時提取個體面部的視頻將允許組合不同的模型，并為我們提供一種有效的多模態情感識別方法。

論文和源碼：https://download.csdn.net/download/qq_45874683/85088303

（論文加源碼）基于deap的腦電情緒識別，構建腦圖的二維卷積（提取了功率譜密度psd和微分熵DE）

總結

以上是生活随笔為你收集整理的（论文加源码）通过构建脑图基于DEAP的情绪识别多任务CNN模型（提取了功率谱密度psd和微分熵DE）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。