11.51 基于幻象技術的異質人臉圖像合成

基于稀疏特征選擇的方法，以及現有的大部分算法在合成人臉圖像時，多是采用線性組合的方式。線性組合，即線性加權平均，可以看作一低通濾波器，會過濾掉一些高頻細節信息，如圖2所示。此外，由于現有的異質人臉圖像合成算法對圖像分塊多采用相鄰塊覆蓋的方式，故在最后融合生成一整張人臉時需要將重疊區域平均，這也會帶來一定的模糊效應，過濾掉部分高頻細節信息。
那么是否能夠通過學習輸入測試照片到殘差圖像之間的映射關系來學習丟失的高頻細節信息？而人臉幻象 (face hallucination)，即人臉超分辨重建，一般是在中低頻的初始估計基礎上加上學習得到的高頻細節信息，這與我們的任務不謀而合。受人臉幻象思想啟發，因此提出如何在初始估計基礎上學習得到丟失的高頻信息以進一步提高合成人臉圖像的質量。

受兩步人臉幻象[13]框架啟發，提出一種兩步框架來進一步增強合成圖像的高頻細節。所提出的框架步驟為（以人臉畫像合成為例）：第一步，利用第二章中介紹的基于稀疏特征選擇的人臉圖像合成方法合成一張初始估計，這里也可以用現有的其他基于線性組合的方法；第二步，利用支撐向量回歸(Support Vector Regression，SVR) 學習照片和畫像高頻細節之間的映射關系，并對輸入的照片進行高頻信息的估計；最后將兩步分別得到的初始估計與殘差圖像進行疊加得到最終輸出的合成畫像。下面主要介紹基于支撐向量回歸的幻象部分，即殘差補償。

這里定義的高頻信息為圖像塊灰度值減去塊均值。支撐向量回歸模型的輸入特征取為圖像塊的灰度值減去塊均值，輸出為對應模態圖像塊中心像素的灰度值減去塊均值。為了進一步提高學習的效率和效果，首先將圖像塊聚類，然后每個類分別學習一個 SVR模型。測試階段，對于每個圖像塊，首先根據聚類中心選擇距離最近的類對應的支撐向量回歸模型，進而進行高頻信息的回歸，算法框圖如圖 3 所示。

訓練階段，首先對訓練畫像 - 照片對分成一些均勻大小的塊，塊與塊之間保持一定的重疊區域；然后用 K-means 聚類方法將這些塊聚成 M 類，每一類利用支撐向量回歸訓練得到一回歸模型。我們采用 LIBSVM( 采用默認參數 ) 進行訓練。測試階段，先對輸入照片進行與訓練階段同樣的分塊，提取特征；然后對于每個塊根據與各個類中心的歐式距離尋找最近鄰的類，隨后用對應的 SVR 模型進行回歸得到輸出高頻圖像對應塊中心的高頻值。將所有合成的這些高頻信息重新排列即可得高頻細節圖像。最后將所得高頻細節圖像加到初始估計上，即可得到最終的合成結果。

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的《中国人工智能学会通讯》——11.51 基于幻象技术的异质人脸图像合成的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。