公眾號關(guān)注?“GitHubDaily”

設(shè)為 “星標(biāo)”，每天帶你逛 GitHub！

大家好，我是小 G。在這個追求高清畫質(zhì)的時代，我們對渣畫質(zhì)的容忍度越來越低。在知乎上搜索「低分辨率」、「渣畫質(zhì)」，會看到一大片諸如「如何補(bǔ)救清晰度低的照片」、「如何拯救渣畫質(zhì)」之類的問題。那么，將渣到馬賽克級別的畫面秒變高清，是一種怎樣的體驗(yàn)？杜克大學(xué)的研究人員用 AI 算法告訴你。GitHub 鏈接：https://github.com/adamian98/pulse

?前所未有，「馬賽克」瞬間變高清

杜克大學(xué)的研究人員提出了一種 AI 算法，稱之為?PULSE(Photo Upsampling via Latent Space Exploration，通過潛在空間探索的照片上采樣)。該算法可以將模糊、無法識別的人臉圖像轉(zhuǎn)換成計(jì)算機(jī)生成的圖像，其細(xì)節(jié)比之前任何時候都更加精細(xì)、逼真。根據(jù)輸入的低分辨率圖片，系統(tǒng)會生成一系列高清圖像如果用以前的方法，想要把一張模糊的「大頭照」變清晰，最多只能將這張照片縮放到原始分辨率的八倍。但是杜克大學(xué)的團(tuán)隊(duì)提出了一種新的方法，僅在幾秒鐘內(nèi)，就可以把 16x16?像素的低分辨率(Low Resolution，以下簡稱 LR)小圖，放大?64 倍，變成?1024 x 1024 像素的高分辨率(High Resolution，以下簡稱 HR)圖像。他們的 AI 工具會「想象」出一些原本不存在的特征，即使是原本 LR 照片中無法看到的細(xì)節(jié)，比如毛孔、細(xì)紋、睫毛、頭發(fā)和胡茬等，經(jīng)過其算法處理后，都能看得一清二楚。來看一個具體示例：左圖為原始低分辨率圖像，右圖為系統(tǒng)創(chuàng)建的高清圖像領(lǐng)導(dǎo)該團(tuán)隊(duì)的杜克大學(xué)計(jì)算機(jī)科學(xué)家辛西婭?魯丁(Cynthia Rudin)說：「以前從來沒有像現(xiàn)在這樣，能用這么少的像素，就創(chuàng)造出擁有大量細(xì)節(jié)的超分辨率圖像。」在實(shí)際應(yīng)用方向上，論文的共同作者 Sachit Menon 介紹稱：「在這些研究中，我們只是用面部作為概念驗(yàn)證。但從理論上講，該技術(shù)是通用的，從醫(yī)學(xué)、顯微鏡學(xué)到天文學(xué)和衛(wèi)星圖像，都可以通過該技術(shù)改善畫質(zhì)。」

?打破傳統(tǒng)操作，實(shí)現(xiàn)最佳效果

雖說此前已經(jīng)有很多類似的低清變高清的方法，但能夠達(dá)到像素放大 64 倍級別的，還是業(yè)界首次。?傳統(tǒng)方法：像素匹配，易出 bug傳統(tǒng)方法處理此類問題時，一般拿到 LR 圖像后，會「猜測」需要多少額外的像素，然后試著將此前處理過的 HR 圖像中相應(yīng)的像素，匹配給 LR 圖像。而這種單純匹配像素的結(jié)果是，像頭發(fā)和皮膚的紋理這種區(qū)域，會出現(xiàn)像素匹配錯位的現(xiàn)象。而且該方法還會忽略了 HR 圖像中，感光性等感知細(xì)節(jié)。所以最終在平滑度、感光度上出現(xiàn)問題，結(jié)果依然會顯得模糊或者不真實(shí)。之前的一些方法，部分生成結(jié)果有點(diǎn)詭異?新方法：低清圖像「連連看」?杜克大學(xué)的團(tuán)隊(duì)則提出的新方法，可以說是開辟了新的思路。在拿到一張 LR 圖像后，PULSE 系統(tǒng)不會慢慢添加新的細(xì)節(jié)，而是遍歷 AI 生成的 HR 圖像，將這些 HR 圖像對應(yīng)的 LR 圖像與原圖對比，找到最接近的那張。打個比方，相當(dāng)于拿 LR 圖片做個「連連看」，找到最相似的 LR 版本，那么再反推回去，這張 LR 圖像所對應(yīng)的 HR 圖像，就是最終要輸出的結(jié)果。原始 LR 圖片(上)，PULSE 輸出的 HR 圖片(中)HR 圖片對應(yīng)的 LR 圖(下)團(tuán)隊(duì)使用了生成對抗網(wǎng)絡(luò)(簡稱 GAN )，它包括對同一張照片數(shù)據(jù)集進(jìn)行訓(xùn)練的兩個神經(jīng)網(wǎng)絡(luò)，即生成器與鑒別器。其中，生成器模擬它所受過訓(xùn)練的人臉，提供 AI 創(chuàng)建的人臉，而鑒別器則獲得了該輸出，并確定它是否足以以假亂真。隨著經(jīng)驗(yàn)的積累，生成器的經(jīng)驗(yàn)會越來越好，直到鑒別器無法分辨出差異。他們用一些真實(shí)圖像進(jìn)行試驗(yàn)，效果對比如下圖所示：上排為真實(shí)圖片，中排為將真實(shí)圖片下采樣而來 LR 圖像下排為 PULSE 根據(jù) LR 圖像生成的 HR 圖像雖然生成的高分辨率圖與原圖仍有一些差距，但是這比以前的方法要清晰很多。

?評估：優(yōu)于其它方法，得分接近真實(shí)照片

團(tuán)隊(duì)在著名的高分辨率人臉數(shù)據(jù)集 CelebA HQ 上評估了其算法，用 64×，32× 和 8× 的比例因子進(jìn)行了這些實(shí)驗(yàn)。研究人員要求 40 個人對通過 PULSE 和其他五種縮放方法生成的 1440 張圖像進(jìn)行 1 到 5 的評分，而 PULSE 的效果最佳，得分幾乎與真實(shí)的高質(zhì)量照片一樣高。HR 為實(shí)際的高清人像數(shù)據(jù)集，得分僅比?PULSE 高 0.14團(tuán)隊(duì)成員表示，PULSE 可以從嘈雜、低質(zhì)量的輸入中，創(chuàng)建逼真的圖像，即使原圖連眼睛、嘴巴都無法辨認(rèn)。這是其他方法無法做到的。與其它方法對比，PULSE 將細(xì)節(jié)處理得更為逼真不過，該系統(tǒng)還不能用于識別身份，研究人員表示：「它無法將安全攝像頭拍攝的失焦、不能識別的照片，變成真人的清晰圖像。它僅會生成不存在但看上去很真實(shí)的新面孔。」在具體應(yīng)用場景上，除了上文提到的，該技術(shù)未來可能應(yīng)用在醫(yī)學(xué)、天文學(xué)之外，對于大眾來說，擁有這項(xiàng)黑科技之后，就可以把 N 年前的老照片變高清。對于編輯同志們來說，更是一大福音，再也不用為找高清配圖而頭大了。從此告別「畫質(zhì)感人」溫馨提示：研究人員還會在正在舉行的 CVPR 2020(計(jì)算機(jī)視覺和模式識別會議)上介紹他們的方法，大家可以關(guān)注一下：http://cvpr2020.thecvf.com/program/tutorials論文地址：https://arxiv.org/pdf/2003.03808.pdf參考資料：https://www.sciencedaily.com/releases/2020/06/200612111409.htm---由 GitHubDaily 原班人馬打造的公眾號：GitCube，現(xiàn)已正式上線！接下來我們將會在該公眾號上，為大家分享優(yōu)質(zhì)的計(jì)算機(jī)學(xué)習(xí)資源與開發(fā)者工具，堅(jiān)持每天一篇原創(chuàng)文章的輸出，感興趣的小伙伴可以關(guān)注一下哈！

總結(jié)

以上是生活随笔為你收集整理的不同分辨率图片匹配_杜克大学开源 AI 算法，让马赛克图片秒变高清！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。