Gram格拉姆矩阵在风格迁移中的应用
Gram定義
n維歐式空間中任意k個向量之間兩兩的內積所組成的矩陣,稱為這k個向量的格拉姆矩陣(Gram matrix)
根據(jù)定義可以看到,每個Gram矩陣背后都有一組向量,Gram矩陣就是由這一組向量兩兩內積得到的,先說一下向量內積是做什么的。
向量的內積,也叫向量的點乘,對兩個向量執(zhí)行內積運算,就是對這兩個向量對應位一一相乘之后求和的操作,內積的結果是一個標量。例如對于向量a和向量b:
a和b的內積公式為:
兩個向量的內積有什么用呢?一個重要的應用就是可以根據(jù)內積判斷向量a和向量b之間的夾角和方向關系(詳細推導可參見:https://blog.csdn.net/dcrmg/article/details/52416832),具體來說:
a·b>0 方向基本相同,夾角在0°到90°之間
a·b=0 正交,相互垂直
a·b<0 方向基本相反,夾角在90°到180°之間
簡單來說就是內積可以反映出兩個向量之間的某種關系或聯(lián)系。Gram矩陣是兩兩向量的內積組成的,所以Gram矩陣可以反映出該組向量中各個向量之間的某種關系。
風格遷移中的Gram矩陣
深度學習中經(jīng)典的風格遷移大體流程是:
1. 準備基準圖像和風格圖像
2. 使用深層網(wǎng)絡分別提取基準圖像(加白噪聲)和風格圖像的特征向量(或者說是特征圖feature map)
3. 分別計算兩個圖像的特征向量的Gram矩陣,以兩個圖像的Gram矩陣的差異最小化為優(yōu)化目標,不斷調整基準圖像,使風格不斷接近目標風格圖像
這里邊比較關鍵的一個是在網(wǎng)絡中提取的特征圖,一般來說淺層網(wǎng)絡提取的是局部的細節(jié)紋理特征,深層網(wǎng)絡提取的是更抽象的輪廓、大小等信息。這些特征總的結合起來表現(xiàn)出來的感覺就是圖像的風格,由這些特征向量計算出來的的Gram矩陣,就可以把圖像特征之間隱藏的聯(lián)系提取出來,也就是各個特征之間的相關性高低。如果兩個圖像的特征向量的Gram矩陣的差異較小,就可以認定這兩個圖像風格是相近的。
總的來說,Gram Matrix可看做是圖像各特征之間的偏心協(xié)方差矩陣(即沒有減去均值的協(xié)方差矩陣),Gram計算的是兩兩特征之間的相關性,哪兩個特征是同時出現(xiàn)的,哪兩個是此消彼長的等等。另一方面,Gram的對角線元素,還體現(xiàn)了每個特征在圖像中出現(xiàn)的量,因此,Gram矩陣可以度量各個維度自己的特性以及各個維度之間的關系,所以可以反映整個圖像的大體風格。只需要比較Gram矩陣就可以比較兩個圖像的風格差異了。
總結
以上是生活随笔為你收集整理的Gram格拉姆矩阵在风格迁移中的应用的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 陈涉世家教案一等奖教学设计一等奖
- 下一篇: 有寓意的英文网名95个