提出了一種三界面模式。系統(tǒng)可以識(shí)別運(yùn)動(dòng)想象、手勢和眼球運(yùn)動(dòng)。腦電圖模式用來識(shí)別左右移動(dòng)的意圖。肌電圖用來識(shí)別手勢，便于控制機(jī)器人。眼電模式用來識(shí)別向左看或向右看的眼部運(yùn)動(dòng)，也可以通過眨兩下眼睛來選擇最適合的動(dòng)作。

實(shí)驗(yàn)要求：6名受試者一只前臂帶肌電環(huán)（myo以200HZ的采樣頻率采集肌電），一只手帶軟手機(jī)器人。

實(shí)驗(yàn)過程：EOG模式下，向左或向右箭頭的出現(xiàn)之時(shí)受試者用眼睛（向左看或向右看）跟蹤箭頭的方向，并保持自然眨眼。在EEG模式下，想象中的左手或右手動(dòng)作依次作為提示顯示在屏幕上，顯示相應(yīng)手動(dòng)作的運(yùn)動(dòng)想象，持續(xù)2秒鐘。每個(gè)模式都涉及10個(gè)實(shí)驗(yàn)，5左5右。每個(gè)模式的實(shí)驗(yàn)持續(xù)44秒。

mHMI運(yùn)動(dòng)意圖檢測和控制軟機(jī)器人的流程圖 ：在檢測用戶意圖之前，通過每個(gè)模式采集10次試驗(yàn)的訓(xùn)練數(shù)據(jù)，分別計(jì)算閾值和訓(xùn)練分類器參數(shù)，建立EOG和EEG的訓(xùn)練模型。

mHMI的主要結(jié)構(gòu)和工作流程

實(shí)驗(yàn)結(jié)果：運(yùn)動(dòng)意圖分析， 比如眼電模式下，處理信號(hào)，設(shè)置閾值，經(jīng)過正確識(shí)別后，可以將看左、看右信號(hào)轉(zhuǎn)換為機(jī)器人動(dòng)作的指令，將眨雙眼的信號(hào)識(shí)別為系統(tǒng)切換模式的命令。經(jīng)過處理，分別標(biāo)記出非自愿眨眼、自愿單眨眼和自愿雙眨眼；根據(jù)三十幅度的正負(fù)情況標(biāo)記出左掃視和右掃視。

在軟機(jī)器人的幫助下受試者能夠根據(jù)自己的意圖快速地抓取其日常生活中的各種物體。EEG2個(gè)動(dòng)作，EOG2個(gè)，EMG5個(gè)。

數(shù)據(jù)處理過程：

在EOG模式下，首先使用零相位FIR低通濾波器對(duì)EOG進(jìn)行濾波，該濾波器具有較低的截止頻率0.05 Hz和較高的截止頻率45 Hz。然后，利用Daubechies小波的4階和10個(gè)分解級(jí)別，通過基于小波變換的濾波EOG得到結(jié)果。因此，采用雙閾值法建立了EOG模型，識(shí)別左視、左視和雙眨眼的眼動(dòng)，并將其轉(zhuǎn)化為相應(yīng)的命令，分別為彎五指推（S1）、捏五指拉（S2）和模式移位（S0）。

在EEG模式下，首先從EEG信號(hào)中去除直流分量和相對(duì)于首選公共平均參考的基線漂移，并使用截止頻率為0.05的零相位FIR低通濾波器對(duì)其進(jìn)行濾波～45赫茲。接下來，將EEG中的總平均ERD\/ERS估計(jì)為與靜息狀態(tài)前2秒?yún)⒖奸g隔相比的功率降低（ERD）或功率增加（ERS）。計(jì)算由左側(cè)或右側(cè)MI分別獲得的信號(hào)的二次和的平均值。使用db4母小波作為平均值，通過Daubechies小波在5個(gè)級(jí)別提取每個(gè)通道中的功率變化（Chen等人，2017）。分別記錄在左側(cè)（C3）和右側(cè)（C4）初級(jí)感覺運(yùn)動(dòng)皮層中央?yún)^(qū)域的EEG平均值之間的差異得到，ERD和ERS使用差異歸一化計(jì)算。然后構(gòu)造一個(gè)最優(yōu)超平面作為兩類特征分類的決策面，然后選擇合適的核函數(shù)RBF，根據(jù)支持向量機(jī)（SVM）的原理，在MATLAB 2010a（MathWorks，Inc.）下使用MATLAB函數(shù)“svmtrain.m”確定決策面參數(shù)。最后，將處理后的腦電數(shù)據(jù)輸入到SVM分類器的訓(xùn)練模型中，然后從測試集上的測試模型中得到分類結(jié)果。結(jié)果很容易轉(zhuǎn)化為三指抓握（S3）和拳頭（S4）命令來控制軟機(jī)器人。

在肌電圖模式下，如果大多數(shù)主要的手臂肌肉還可以正常運(yùn)動(dòng)，受試者可以在手臂上佩戴MYO，并練習(xí)五種基本手勢。所有操作的詳細(xì)信息也可以在網(wǎng)站上的MYO support上找到（Labs，2018a）。Myo Connect的應(yīng)用程序編程接口用于從前臂的肌電活動(dòng)中實(shí)時(shí)獲取手勢數(shù)據(jù)，并將肌電輸入到打包的模式識(shí)別算法中，對(duì)手勢進(jìn)行分類，這些手勢成功地轉(zhuǎn)換為相應(yīng)的控制指令（如S5、S6、S7、S8、S9和S10）。

運(yùn)動(dòng)意圖分析：

眼電：

如A所示，根據(jù)不同的電壓分布范圍，采用眼電檢測方法。第一個(gè)子圖描述了原始EOG與小波去噪后信號(hào)的比較差異。在第二個(gè)子圖中，如果信號(hào)大于第一個(gè)閾值180μV，則眨眼被認(rèn)為是有意義的；否則將被忽略。圖5B描繪了掃視檢測的過程。第一個(gè)子圖顯示了獲得4個(gè)掃視單的原始EOG。第二部分基于小波變換對(duì)其進(jìn)行重構(gòu)。將一些有噪聲的隨機(jī)信號(hào)分解為小的階梯信號(hào)，可以從信號(hào)的點(diǎn)差分中得到單值脈沖信號(hào)，因此應(yīng)將閾值設(shè)置為30μV以正確識(shí)別脈沖信號(hào)。如果達(dá)到或超過閾值，則脈沖信號(hào)要么被視為掃視信號(hào)，要么被忽略。校正后的掃視信號(hào)如第三子圖所示：如果脈沖信號(hào)為正，則表示向右看；否則它表示向左看。經(jīng)過正確識(shí)別后，可以將看左、看右信號(hào)轉(zhuǎn)換為機(jī)器人手彎五指推、捏五指拉的命令，將雙眨眼信號(hào)轉(zhuǎn)換為系統(tǒng)切換模式的命令。經(jīng)過EOG處理后，相同的部分用條形圖標(biāo)記為相同的顏色。(A)是基于EOG的眨眼處理結(jié)果，閾值1、2和3眨眼向量的分別代表非自愿眨眼，自愿單眨眼和自愿雙眨眼，(B)是掃視，如果掃視幅度為正數(shù)，則表示左掃視(藍(lán)色)，否則表示右掃視(綠色)。

腦電：

通過相關(guān)事件去同步化和同步化從腦電信號(hào)中提取反應(yīng)感覺運(yùn)動(dòng)的腦活動(dòng)的生理現(xiàn)象。在每個(gè)受試者10次實(shí)驗(yàn)出現(xiàn)提示前2秒，計(jì)算得到C3\C4的總平均ERD\ERS頻率范圍是8-12HZ. 圖6顯示了不同情況下左手或右手運(yùn)動(dòng)想象的平均ERD\/ERS。為了直觀地發(fā)現(xiàn)大腦活動(dòng)，并確定ERD和ERS的百分比值，在紅線下方帶有菱形的藍(lán)色線區(qū)域代表ERD（功率降低），綠色線的剩余區(qū)域代表ERS（功率增加），在左側(cè)和右側(cè)MI（提示出現(xiàn)后的時(shí)間段2 s）期間。腦電圖顯示對(duì)側(cè)（如C3或C4）有明顯的ERD（藍(lán)色區(qū)域）和相對(duì)較淺的ERS（綠色區(qū)域）。該特征反映了信號(hào)特征的變化，因此可以識(shí)別左手或右手運(yùn)動(dòng)想象。

肌電：

提取表面肌電的共同特征：如平均絕對(duì)值、波形長度、過零、斜率符號(hào)變化和平均絕對(duì)值斜率，用來手勢識(shí)別和分類。

?多模式的性能是由不同模式下的所有評(píng)估參數(shù)的平均值來表示。控制命令方面，明顯優(yōu)于單一模式，還進(jìn)一步簡化了添加命令的過程，避免了系統(tǒng)中單一模式的缺點(diǎn)。

mHMI可以檢測11種運(yùn)動(dòng)意圖，準(zhǔn)確率為93.83%，平均ITR為47.41位\/min。

論文詳情：?An EEG/EMG/EOG-Based Multimodal Human-Machine Interface to Real-Time Control of a Soft Robot Hand

參考：

(24條消息) 基于EEG/EMG/EOG的多模態(tài)人機(jī)接口，實(shí)時(shí)控制軟機(jī)器人手_腦機(jī)接口社區(qū)的博客-CSDN博客_eog眼電圖

總結(jié)

以上是生活随笔為你收集整理的【论文学习：基于EEG/EMG/EOG的多模态人机接口，用于实时控制软机器人手】的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。