當(dāng)前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

基于GAN的图像配准汇总

發(fā)布時間：2024/3/12 编程问答 30 豆豆

生活随笔收集整理的這篇文章主要介紹了基于GAN的图像配准汇总小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

基于GAN的圖像配準(zhǔn)匯總

1、 Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration
- 1.1、簡介
- 1.2、、記號
- 1.3、網(wǎng)絡(luò)結(jié)構(gòu)
2、Adversarial learning for mono- or multi-modal registration
- 2.1、相關(guān)工作
- 2.2、網(wǎng)絡(luò)結(jié)構(gòu)

1、 Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration

（基于深度學(xué)習(xí)的配準(zhǔn)中用相似性對抗網(wǎng)絡(luò)來評估圖像的對齊）

1.1、簡介

一般的無監(jiān)督配準(zhǔn)模型是需要指定相似性指標(biāo)，然后通過神經(jīng)網(wǎng)絡(luò)來最大化兩幅圖像之間的相似性，從而達(dá)到配準(zhǔn)的目的。常用的相似性指標(biāo)有平方差（SSD）和互相關(guān)（CC）等。但是這些相似性指標(biāo)不是對所有數(shù)據(jù)集都適用的。

本文提出了一種基于生成對抗網(wǎng)絡(luò)（GAN）的無監(jiān)督配準(zhǔn)模型，在訓(xùn)練時不需要 ground-truth，也不需要指定圖像之間的相似性度量指標(biāo)。

上圖是該模型與其他模型的配準(zhǔn)結(jié)果對比示意圖，對比黃色方框中的區(qū)域可以看出，本文提出的模型輸出結(jié)果更接近于 template image。

1.2、、記號

本文中 fixed image 被稱為 template image，記作 $T$ ；moving image 被稱為 subject image，記作 $S$ ；形變場 $?\phi$ 就是使得 $S$ 和 $T$ 最相似的形變場，可表示為：

$?=arg?minM(S°?,T)+Reg(?)\phi = arg_{\phi} minM(S \circ \phi,T) + Reg(\phi)$

其中 $\circ \phi$ 表示形變場作用在 $S$ 上生成扭曲后的圖像 $M(S°?,T)M(S\circ \phi, T)$ 表示兩幅圖像的差異性， $Reg(?)Reg(\phi)$ 是正則項，表示形變場 $?\phi$ 的平滑性。

在該模型中，生成器是一個配準(zhǔn)網(wǎng)絡(luò) $R$ ，它用來預(yù)測一個形變場 $?\phi$ ；判別器是一個判別網(wǎng)絡(luò) $D$ ，它用來判斷兩幅圖像之間的相似性概率 $p$ ， $\in [0,1]$ 。

1.3、網(wǎng)絡(luò)結(jié)構(gòu)

該網(wǎng)絡(luò)模型由三部分組成——配準(zhǔn)網(wǎng)絡(luò)、變形轉(zhuǎn)換層和判別網(wǎng)絡(luò)。

1. 配準(zhǔn)網(wǎng)絡(luò)
采用的是類似于 U-Net 的網(wǎng)絡(luò)結(jié)構(gòu)，使用三維的 patch 作為輸入，圖像對 $(S, T)$ 通過配準(zhǔn)網(wǎng)絡(luò)可以得到一個位移向量場（形變場） $?\phi$ 。

2. 變形轉(zhuǎn)換層
根據(jù)配準(zhǔn)網(wǎng)絡(luò)預(yù)測出的形變場 $?\phi$ ，對圖像 $S$ 做變換，得到扭曲后的圖像 $\circ \phi$ 。

3. 判別網(wǎng)絡(luò)
判別網(wǎng)絡(luò)用來判別輸入的兩個圖像塊是否相似，并輸出一個相似性概率 $p$ 。

上圖是判別網(wǎng)絡(luò)的結(jié)構(gòu)示意圖，每個卷積層后面跟著一個 ReLU 激活函數(shù)，并且卷積采用 0 填充的方式。

上圖是整個網(wǎng)絡(luò)的結(jié)構(gòu)示意圖。如上圖所示，一個變形轉(zhuǎn)換層起到了連接配準(zhǔn)網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的作用，它可以把配準(zhǔn)網(wǎng)絡(luò)產(chǎn)生的形變場 $?\phi$ 和圖像 $S$ 作為輸入，得到根據(jù)形變場扭曲后的圖像 $S°?S\circ\phi$ ，再將扭曲后的圖像和圖像 $T$ 輸入到配準(zhǔn)網(wǎng)絡(luò)。輸入時，不是輸入整幅圖像，而是輸入大小為 $64×64×6464\times64\times64$ 的圖像塊（patch），并得到一個大小為 $24×24×2424\times24\times24$ 的形變場。

參考：【論文筆記】基于生成對抗網(wǎng)絡(luò)（GAN）的無監(jiān)督醫(yī)學(xué)圖像配準(zhǔn)模型

2、Adversarial learning for mono- or multi-modal registration

本文是論文《Adversarial learning for mono- or multi-modal registration》的閱讀筆記，是范敬凡老師的工作，是文章《Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration》中工作的延續(xù)。關(guān)于后一篇文章，可以查看我的博客。
文章提出了一個基于GAN（生成對抗網(wǎng)絡(luò)）的無監(jiān)督配準(zhǔn)模型，需要任何ground-truth形變場，也不需要指定相似性度量標(biāo)準(zhǔn)。

2.1、相關(guān)工作

配準(zhǔn)算法是來獲取一個可以配準(zhǔn)圖像的空間變換，空間變換通常包括線性變換（平移、旋轉(zhuǎn)、縮放、shearing）和非線性變換（體素到體素的關(guān)系）。配準(zhǔn)問題可以表示為一個獲取使得圖像不相似性最小的形變場 $??\phi^*$ ，表示為下式：

傳統(tǒng)的醫(yī)學(xué)圖片配準(zhǔn)方法通常是高維的數(shù)學(xué)優(yōu)化，所以很耗時間。基于深度學(xué)習(xí)的有監(jiān)督配準(zhǔn)方法多聚焦于預(yù)測體素到體素的映射，即密集形變場（dense deformation fields），但是它們效果又被ground-truth形變場所限制。而無監(jiān)督的配準(zhǔn)方法旨在通過最大化圖像之間的相似度來學(xué)習(xí)一個形變場，這里的圖像相似度通常采用SSD（平方誤差和）、CC（互相關(guān)）等，但是很難決定在不同的配準(zhǔn)問題中采取哪種特定的相似性度量才會達(dá)到最好效果。無監(jiān)督的方法另一個優(yōu)點(diǎn)是沒有有監(jiān)督信息，所以節(jié)省了內(nèi)存/顯存，進(jìn)一步同樣的顯存可以容納更大的圖像，使得大尺度的無標(biāo)簽圖像的配準(zhǔn)變成可能。

2.2、網(wǎng)絡(luò)結(jié)構(gòu)

該模型實(shí)現(xiàn)了基于patch和基于圖像的單模和多模3D圖像的配準(zhǔn)，單模圖像選用的是腦部MR圖像，多模選用的是骨盆的MR圖像和CT圖像。文章的貢獻(xiàn)如下：

與傳統(tǒng)的配準(zhǔn)方法相比，該方法更魯棒，更快，并且是端到端的；
與有監(jiān)督配準(zhǔn)方法相比，該方法不需要ground-truth形變場；
該方法可以自動學(xué)習(xí)圖像之間的相似性度量，而不需要任何先驗假設(shè)；
可以同時處理單模和多模配準(zhǔn)問題。
文章提出的基于GAN的無監(jiān)督配準(zhǔn)模型包括一個配準(zhǔn)網(wǎng)絡(luò)（生成器）、一個判別器和空間變換網(wǎng)絡(luò)。下圖是網(wǎng)絡(luò)的整體結(jié)構(gòu)示意圖。

參考：【論文筆記】ASNet：基于生成對抗網(wǎng)絡(luò)（GAN）的無監(jiān)督單模和多模配準(zhǔn)網(wǎng)絡(luò)（范敬凡老師）

總結(jié)

以上是生活随笔為你收集整理的基于GAN的图像配准汇总的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。

图像
GaN