點擊上方藍字關注我們

基于生成對抗網絡的醫學數據域適應研究

于胡飛,?溫景熙,?辛江,?唐艷

中南大學計算機學院，湖南 長沙 410083

?

摘要：在醫療影像輔助診斷研究中，研究者通常使用不同醫院（多域）的數據，但當其中一個域的訓練樣本較少時，模型在該域的測試集上的分類結果將會很差。針對此問題，提出一種基于生成對抗網絡的分類方法進行男女腦影像差異的域適應研究，首先使用生成對抗網絡學習不同域的數據分布，并提取關鍵特征，然后基于提取的關鍵特征研究不同域的男女腦影像差異。實驗表明，該方法在僅有少量數據參與訓練的域上也能取得80%以上的分類準確度。

關鍵詞：?深度學習?;?生成對抗網絡?;?域適應?;?醫療影像

論文引用格式：

于胡飛,溫景熙,辛江, 等. 基于生成對抗網絡的醫學數據域適應研究[J]. 大數據, 2020, 6(5): 45-54.

YU H F, WEN J X, XIN J, et al. Study on domain adaptation of medical data based on generative adversarial network[J]. Big Data Research, 2020, 6(5): 45-54.

1 引言

在醫療圖像領域，深度學習技術被廣泛應用到疾病的輔助診斷、醫學圖像增強和病變檢測以及病理研究中。在腦影像研究中，目前對人腦進行研究時使用的數據大部分是由同一型號、同一參數的機器采集的。不同型號或參數產生的機器噪聲會造成數據的分布不一致。然而，來自同一型號、同一參數的機器采集的同分布的數據往往數量很少。目前對深度學習的研究往往依賴大量的有標簽的訓練數據，當來自某一個域（目標域）的有標簽訓練數據量缺乏時，如何利用已有的大量其他域的有標簽醫療影像的數據來提升模型在目標域測試數據上的泛化能力呢？這就引出了機器學習領域的一個重要的研究方向——域適應。域適應旨在研究如何提高機器學習模型在未經訓練的目標域上的泛化能力。在深度學習領域，針對域適應的研究有很多，在參考文獻中，研究人員通過不斷拉近源域和目標域數據在特征空間上的分布來研究域適應學習問題。不同于數據整合（將多個域的數據處理成一個源域的數據，并把這些數據隨機劃分成訓練集和測試集），域適應研究的是如何使用大量的其他域的訓練數據和少量目標域的訓練數據訓練出一個對目標域測試數據泛化能力良好的模型。生成對抗網絡的優點是它能夠很好地學習數據的分布，從而很好地提取未經訓練的數據的特征。因此本文的工作使用生成對抗網絡來研究腦影像的域適應問題。

在深度學習領域，生成對抗網絡是一種比較優秀的生成模型，它能夠有效地學習訓練數據的分布。醫學領域的很多研究工作使用了生成對抗網絡，如對醫療圖像的分割、分類、檢測和去噪等。醫學圖像中病變特征的檢測和形狀識別一直是許多研究人員關注的重點，生成對抗網絡也被應用到醫學圖像的自動分割中。在醫學圖像的自動分割中，生成對抗網絡主要被用于對大腦圖像、眼底圖像和顯微圖像進行分割，一般使用殘差網絡和U-Net作為生成對抗網絡的生成器，完成對醫學圖像的分割。在醫學圖像的分類任務中，生成對抗網絡仍然是值得研究的技術之一。參考基于生成對抗網絡提出了一種半監督生成對抗網絡來對心臟超聲中的有用圖像和非有用圖像進行分類，作者通過實驗發現，基于生成對抗網絡的分類模型的識別準確度和穩定性都高于普通的卷積神經網絡分類模型。自動編碼器是一種自動學習數據降維和重要特征提取的技術，能否將自動編碼器和生成對抗網絡結合在一起構成一個強大的特征提取模型，從而有效地學習如何提取不同分布的數據的重要特征？為此，本文提出了一種基于生成對抗網絡的分類方法，從提升模型泛化能力的角度研究來自不同域的數據分析問題。筆者首先使用3D生成對抗網絡對數據進行特征提取（自動編碼器作為生成對抗網絡的重要組成部分），以達到降維和捕捉關鍵性特征的目的；然后構建一個簡單的3D卷積神經網絡對提取到的特征進行分類。筆者使用了來自6種不同域的數據進行研究，將其中5個域的數據全部作為訓練集，通過在訓練集中逐漸添加另一個域的小部分數據來訓練模型，并檢測模型在該域的測試集上的泛化能力。實驗結果表明，本文提出的方法能在一定程度上緩解由某個域的訓練樣本較少導致的模型在該域測試數據上表現不佳的問題。

2 基于生成對抗網絡的分類方法

在研究域適應的問題時，筆者主要用到了生成對抗網絡和卷積神經網絡等技術。由于不同域的數據由不同類型的機器采集而來，因此各個域的數據會存在一些差異，這將會導致模型在未經訓練的域或僅有少量數據參與訓練的域的測試數據上表現不佳。為提升模型的泛化能力，本文使用3D生成對抗網絡來進行數據的特征提取，然后對提取到的特征做分類研究。本節將詳細介紹所用的實驗數據以及使用的關鍵技術。

2.1 基于生成對抗網絡的特征提取模型

本文使用3D生成對抗網絡對圖像進行特征提取。生成對抗網絡是一種基于博弈論的生成式網絡模型，它主要由兩個部分構成：生成器和判別器。在模型的訓練過程中，兩者形成對抗關系，生成器希望生成盡可能真實的樣本來欺騙判別器，而判別器希望準確地區分生成器生成的虛假樣本和真實的訓練樣本，通過不斷的訓練，二者的能力同時得到提升。最終的結果是，生成器學會了生成非常接近真實訓練樣本的虛假樣本，而判別器無法區分真實的樣本和生成器生成的虛假樣本。

本文使用3D卷積自編碼器作為生成對抗網絡的生成器，生成器的輸入為預處理好的腦圖。首先，對腦圖做卷積和池化，得到一組關鍵特征，該過程被稱為編碼；然后對關鍵特征進行上采樣操作，該過程被稱為解碼。自編碼器是一種神經網絡模型，可以對數據進行降維和關鍵特征提取。生成對抗網絡的判別器是一個3D卷積神經網絡。生成對抗網絡的總體結構如圖1所示。其中，生成器的結構為一個3D卷積自編碼器，包含編碼層和解碼層，編碼層由4個卷積層、激活層以及池化層組成；解碼層由4個卷積層、激活層和上采樣組成。生成器的輸入是一個大小為128×128×128的三維腦圖，經過編碼層之后得到一個256×8×8×8的隱編碼（用作分類），然后解碼層將隱編碼還原成128×128×128的三維腦圖。判別器的輸入同樣是128×128×128的三維腦圖，當給定的輸入是真實的腦圖時，判別器將輸出一個接近1的實數，表示輸入是真實的；反之，當給定的輸入是由生成器生成的128×128×128的三維腦圖時，判別器將輸出一個接近0的數，表示該輸入的真實程度接近0，即輸入是虛假的。通過不斷的訓練，生成器具備了生成與真實樣本十分接近的虛假樣本的能力，這說明通過隱編碼能較好地還原出真實樣本，即提取到的隱編碼能很好地表示整個腦圖的特征（生成對抗網絡中使用的卷積層的卷積核大小均為3×3×3，步長為1，池化層使用的是2×2×2的3D池化）。判別器的本質是一個分類模型，其被用來區分生成器生成的樣本和真實的訓練樣本。判別器由4個3D卷積層、激活層、池化層以及一個全連接層組成，卷積核大小均為3×3×3，步長為1，池化層使用的是2×2×2的3D池化，網絡的輸出是一個單一的神經元，用來輸出給定樣本是真實樣本的概率。

圖1???生成對抗網絡的總體結構

在訓練生成對抗網絡時，筆者使用的損失函數由兩部分構成：度量生成腦圖與真實腦圖之間差異的L2損失函數、構成生成器與判別器對抗訓練的對抗損失函數。L2損失函數的表達式為：

其中，H、W、C分別表示腦圖的3個維度，在這里均為128；i、j、k分別表示3個維度的索引，I和O分別表示輸入的真實腦圖和生成器輸出的虛假腦圖。該式被用于計算生成器輸入的真實腦圖和輸出的虛假腦圖之間的差距。對抗損失的損失函數為：

其中，E表示求均值操作，D、G分別表示判別器和生成器，p_I、p_O分別表示真實樣本的分布和虛假樣本的分布。在訓練的過程中，希望能盡可能地區分出真實樣本和虛假樣本，因此對于判別器而言，它希望對抗損失越大越好；而生成器則希望能盡可能地生成逼真的虛假樣本來騙過判別器，因此它希望對抗損失越小越好。這樣在訓練的過程中，二者的能力同時得到提升。因此生成對抗網絡部分的總損失函數為：

2.2 基于卷積神經網絡的分類模型

通過生成對抗網絡得到關鍵特征之后就可以使用3D卷積神經網絡進行基于特征的分類實驗。在網絡的訓練部分，將第3.1節中的COBRE、Beijing Enhance以及SLIM等5個域的數據作為基本的訓練數據，使用Cam-CAN數據集驗證模型的泛化能力，通過不斷向基本的訓練數據中增加少量Cam-CAN訓練數據來測試模型對僅有少量樣本參與訓練的域上的識別準確度?；诰矸e神經網絡的分類模型的整體架構如圖2所示。模型的輸入是由生成對抗網絡的生成器提取到的特征，經過兩層卷積層和池化層得到一個256×2×2×2的特征圖，然后將該特征圖鋪平成一個一維的長度為2 048的向量，之后在該一維向量后添加3個全連接層，得到分類的輸出結果。圖2中前兩個卷積層和池化層各包含一個3D卷積層、Rule激活層、隨機失活（dropout）層、批量歸一化（batchnormalization，BN）層以及池化層，卷積層的卷積核均為3×3×3，步長為1，池化層使用的是2×2×2的3D池化。前兩個全連接層包含PRelu激活層、dropout層和BN層。最后一層全連接層后是一個神經元，使用Sigmoid激活函數將該神經元的輸出映射到0～1。

圖2???基于卷積神經網絡的分類模型的整體架構

3 模型分類結果及分析

本節介紹用到的實驗數據、模型的基本訓練過程，并展示幾組對比試驗結果。本文所用的數據為男女腦影像圖。生成對抗網絡以及3D卷積神經網絡均使用Keras深度學習框架進行訓練。在訓練過程中，生成對抗網絡使用Adam優化器，將學習率設置為0.000 11；3D卷積神經網絡也使用Adam優化器，學習率為0.000 1，整個訓練過程中所有dropout層的值都被設置為0.45。為驗證模型的有效性，筆者進行了幾組對比實驗，結果表明，基于本文提出的方法的模型能在一定程度上緩解由某個域參與訓練樣本較少導致的模型在該域的測試數據上表現不佳的問題。

3.1 實驗數據

筆者使用了男女腦影像圖來驗證模型的有效性。本文共收集了來自6個不同域的2 240個數據，所用的數據集均為健康的男性和女性腦影像。6種數據集分別來自于COBRE（118男/40女）、Beijing Enhance （71男/105女）、Cam-CAN（184男/191女）、SLIM（230男/297女）、HCP（437男/453女）以及PPMI（60男/54女）。6個域的數據均為彌散張量圖像（diffusion tensor imaging，DTI）類型數據，筆者使用功能磁共振成像軟件庫（FMRIB’s software library，FSL）進行DTI數據的預處理工作，包括B0圖像提取、渦流校正等，并獲取每個樣本的部分各向異性（fractional anisotropy，FA）圖，最后通過插值方式將每個樣本的FA圖的大小統一為128×128×128。在實驗中，筆者進行了嚴格控制，使測試數據的正負樣本比例大致相同。在測試樣本為偶數時，保證正負樣本數量相同；在測試樣本為奇數時，保證正負樣本數量相差1。

3.2 目標域中參與訓練的數據量變化時的模型分類結果

在實驗中，筆者將COBRE、Beijing Enhance以及SLIM等5個域的數據作為基本的訓練數據，使用Cam-CAN數據集驗證模型的泛化能力，通過不斷向基本的訓練數據中增加少量Cam-CAN訓練數據來測試模型對僅有少量樣本的數據集的識別準確度。在本實驗中，筆者首先使用5個基本的數據集來訓練生成對抗網絡，由于筆者將生成對抗網絡的生成器設計為自編碼器形式，因此生成器可以作為特征提取器提取經過預處理之后的數據特征。在本實驗的分類任務中，筆者固定CamCAN的測試數據集為55個（男性28個，女性27個），基訓練集為另外5個數據域的所有數據（共1 865個），通過不斷地向基訓練數據集中加入少量的Cam-CAN訓練數據來觀察分類模型的性能，并將基于卷積神經網絡的直接分類方法和基于自動編碼器的分類方法作為對照實驗，實驗結果如圖3所示。對照組中的基于自動編碼器的分類方法的模型與圖2所示的分類模型相同；基于卷積神經網絡的直接分類方法的模型結構比圖2所示的分類模型多了一層卷積層和池化層，其輸入數據為128×128×128的FA矩陣。從圖3可以看出，基于生成對抗網絡的分類方法在僅有少量的Cam-CAN數據參與訓練時的分類準確度是高于其他兩種分類方法的。這得益于生成對抗網絡的本質優點——能有效學習訓練數據的分布，即能夠通過對抗訓練擬合訓練數據的分布，從而生成與訓練數據類似的生成樣本，而結合了自動編碼器之后的生成對抗網絡可以有效地提取未經過訓練的數據的重要特征，利用這些特征構建出來的分類模型有很好的分類性能。從Cam-CAN測試集準確度曲線變化可以看出，隨著添加的訓練樣本越來越多，測試集的準確度大致呈現上升趨勢，且當參與訓練的Cam-CAN域的數據量在83以上時，基于生成對抗網絡的分類方法得到的測試集準確度均在0.82以上，當參與訓練的數據樣本數為193時，基于生成對抗網絡的分類方法的測試集準確度為0.857。

圖3???目標域中參與訓練的數據量變化時的模型分類結果

3.3 目標域少量數據參與訓練和測試時的模型分類結果

由于醫學領域精準的有標簽數據往往需要由有臨床經驗的醫生來標注，這就導致可用的有標簽數據特別少。因此在本實驗中筆者重點在少量數據集上進行了實驗，將少量的Cam-CAN域的數據加入訓練集，并使Cam-CAN域的測試集的數量與該域參與訓練的訓練集的數量相等。實驗中選取的男女樣本數據比例均約等于1∶1，實驗結果如圖4所示。在本實驗中，筆者共做了7組實驗，參與訓練的Cam-CAN域的數據從20個增加到50個，增加幅度為5，并且設置Cam-CAN域的測試樣本數量與其參與訓練的樣本數量相同，即測試樣本數據也從20個增加到50個。從圖4中可以看出，基于生成對抗網絡的分類方法在測試集上的準確度要高于普通的神經網絡分類方法。

圖4???目標域少量數據參與訓練和測試時的模型分類結果

3.4 傳統機器學習方法的分類結果

在本實驗中，筆者使用傳統的機器學習方法對Cam-CAN數據進行分類實驗， 320個Cam-CAN數據用來訓練，55個數據用來測試。分別使用了支持向量機（support vector machine，SVM）、決策樹、隨機森林（random forst，RF）、樸素貝葉斯、梯度提升樹（gradient boost decision tree，GBDT）、自適應提升樹（adaptive boosting tree，Adaboost）以及K-最近鄰（K-nearest neighbor，KNN）分類7種方法進行了實驗，結果如圖5所示，縱坐標表示模型在測試集上的分類準確度。從圖5可以看出，如果使用傳統的方法對CamCAN域的數據進行分類實驗，即使使用大量的訓練數據，測試集上的分類準確度也均在0.8以下。而從圖2和圖3可以看出，使用生成對抗網絡的方法在僅有少量數據參與訓練的情況下分類準確度就可以高于0.8。

圖5???傳統機器學習方法的分類結果

3.5 分類模型綜合性能評估

在前面的實驗中，筆者將分類準確度（分類正確的樣本數量/總測試樣本的數量）作為分類模型評估指標，由于測試集中男女腦影像比例均衡，分類準確度能較好地反映分類模型的性能。為進一步分析模型的綜合性能，筆者使用受試者工作特征曲線（receiver operating characteristic curve，ROC）、召回率（recall）、精確率（precision）和F1-Score來度量本文提出的基于生成對抗網絡的分類方法的性能，對照實驗為基于自動編碼器的分類方法和基于梯度提升樹的分類方法的分類性能。在本實驗中，筆者將193個Cam-CAN的數據加入基訓練集中，使用55個樣本（男性28個，女性27個）進行測試，得到的ROC如圖6所示，ROC下的面積（area under curve，AUC）越大，說明模型的性能越好。從圖6可以看出，基于生成對抗網絡的分類方法ROC下的面積大于基于GBDT的分類方法和基于自動編碼器的分類方法的面積。圖7表示的是3個模型的召回率、精確率和F1-Score值。從圖7可以看出，基于生成對抗網絡的分類方法的召回率大于基于自動編碼器的分類方法的召回率，與基于GBDT的分類方法的召回率基本持平，但在精確率和F1Score上都高于兩個對照組的模型。

圖6???受試者工作特征曲線對比

圖7???召回率、精確率、F1-Score實驗結果

4 結束語

隨著深度學習在計算機視覺和圖像處理領域的不斷深入，越來越多的醫學研究人員把深度學習技術用到了醫療影像的研究中、肺炎病變區檢測的輔助診斷等。然而在醫學領域精準的、有標簽且來自同一個域的數據通常較少，在研究過程中往往需要將不同域的數據整合在一起進行研究。這樣可以有效解決數據量不足的問題，但是另一個隨之而來的問題是當其中一個域的訓練樣本較少時，模型在該域的測試集上的識別結果將會產生很大的誤差。這是因為不同域數據的采集機器不同，使得各個域上的數據有所不同，從而導致深度學習模型在參與訓練樣本較少的域上泛化能力不足。本文提出了一種基于生成對抗網絡的分類方法來進行多域數據融合研究，在一定程度上緩解了上述問題。在本文提出的方法中，筆者首先使用生成對抗網絡來學習如何提取數據的關鍵特征，然后再構建一個分類神經網絡，基于提取到的關鍵特征進行分類，雖然增加了一個生成對抗網絡的訓練步驟，但是在第3節的實驗中，通過實驗證明了該方法在多域數據融合問題研究上的有效性。

然而，本文提出的方法雖然在一定程度上緩解了由某個域參與訓練樣本較少產生的模型在該域上泛化能力下降的問題，但是當該域完全沒有數據參與到訓練過程中時，分類模型的分類準確度依然有待提升。如何使基于深度學習或者機器學習的醫療輔助診斷模型能夠適應來自與訓練數據完全不同分布的其他域的數據，找到更加有效的醫學域適應算法是今后值得關注的研究方向之一。

作者簡介

于胡飛（1994-），男，中南大學計算機學院碩士生，主要研究方向為深度學習、圖像處理、醫療大數據等 。

溫景熙（1993-），男，中南大學計算機學院碩士生，主要研究方向為醫療影像處理、模式識別、圖像處理等 。

辛江（1994-），男，中南大學計算機學院碩士生，主要研究方向為數據挖掘、醫療大數據、網絡大數據、深度學習等 。

唐艷（1976-），女，博士，中南大學計算機學院副教授，主要研究方向為醫療影像處理、醫療大數據、深度學習等 。

聯系我們:

Tel:010-81055448

? ? ? ?010-81055490

? ? ? ?010-81055534

E-mail:bdr@bjxintong.com.cn?

http://www.infocomm-journal.com/bdr

http://www.j-bigdataresearch.com.cn/

轉載、合作：010-81055537

大數據期刊

《大數據（Big Data Research，BDR）》雙月刊是由中華人民共和國工業和信息化部主管，人民郵電出版社主辦，中國計算機學會大數據專家委員會學術指導，北京信通傳媒有限責任公司出版的期刊，已成功入選中文科技核心期刊、中國計算機學會會刊、中國計算機學會推薦中文科技期刊，并被評為2018年國家哲學社會科學文獻中心學術期刊數據庫“綜合性人文社會科學”學科最受歡迎期刊。

關注《大數據》期刊微信公眾號，獲取更多內容

總結

以上是生活随笔為你收集整理的基于生成对抗网络的医学数据域适应研究的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。