梅寧航發(fā)自凹非寺

　　量子位報(bào)道公眾號(hào) QbitAI

　　有沒(méi)有想過(guò)讓蒙娜麗莎跟著你的表情動(dòng)，來(lái)一番親切的交流？

　　Aliaksandr 的一階運(yùn)動(dòng)模型（First Order Motion Model）可以實(shí)現(xiàn)，但是實(shí)現(xiàn)過(guò)程非常復(fù)雜且繁瑣。

　　一階運(yùn)動(dòng)模型功能強(qiáng)大，可以在未經(jīng)預(yù)訓(xùn)練的數(shù)據(jù)集上對(duì)圖像和視頻進(jìn)行特效生成，但代價(jià)是安裝配置比較繁瑣。

　　能不能簡(jiǎn)單一點(diǎn)，再簡(jiǎn)單一點(diǎn)？

　　印度一位程序員阿南德·帕瓦拉（Anand Pawara）設(shè)計(jì)了基于 OpenCV 實(shí)現(xiàn)的實(shí)時(shí)動(dòng)畫(huà)特效。

　　畢竟 OpenCV 是成名已久的跨平臺(tái)視覺(jué)庫(kù)，是事實(shí)上的計(jì)算機(jī)視覺(jué)領(lǐng)域的標(biāo)準(zhǔn)庫(kù)。

　　項(xiàng)目中涉及的人臉識(shí)別、動(dòng)作識(shí)別和運(yùn)動(dòng)跟蹤，均在 OpenCV 庫(kù)中原生支持。

　　幾天前，阿南德在 GitHub 上開(kāi)源了完整代碼，并給出實(shí)現(xiàn)具體過(guò)程。

　　走過(guò)路過(guò)，不要錯(cuò)過(guò)。

　　安裝過(guò)程

　　1、安裝依賴(lài)模塊

　　安裝依賴(lài)模塊：

pipinstall-rrequirements.txt


　　安裝 pytorch 1.0.0 :

pipinstalltorch===1.0.0torchvision===0.2.1-fhttps://download.pytorch.org/whl/cu100/torch_stable.html

　　2、下載配置文件（如果不能下載，文件鏈接在文末）

gdown—id1wCzJP1XJNB04vEORZvPjNz6drkXm5AUK


　　3、運(yùn)行程序

　　運(yùn)行文件 :

pythonimage_animation.py-ipath_to_input_file-cpath_to_checkpoint


　　針對(duì)攝像頭的實(shí)時(shí)特效生成 :

python.\image_animation.py-i.\Inputs\Monalisa.png-c.\checkpoints\vox-cpk.pth.tarRunapplicationfromvideofile:pythonimage_animation.py-ipath_to_input_file-cpath_to_checkpoint-vpath_to_video_file


　　針對(duì)既有視頻的特效生成 :

python.\image_animation.py-i.\Inputs\Monalisa.png-c.\checkpoints\vox-cpk.pth.tar-v.\video_input\test1.mp4


　　如果你想上手試試，只需要調(diào)整相關(guān)配置文件即可。

　　模型分為兩種使用模式，一種是較為常規(guī)的導(dǎo)入視頻常規(guī)方法，另外一種就是實(shí)時(shí)生成視頻特效。

　　但是，請(qǐng)注意，一定要使用pytorch 1.0.0 版本，因?yàn)楦叩陌姹驹诤蠖艘蕾?lài)的一階模型上存在問(wèn)題。

　　按照作者的后續(xù)計(jì)劃，會(huì)推出客戶(hù)端程序，并且會(huì)增加假聲（deepfake voice）功能。

　　立足 OpenCV 的優(yōu)化

　　阿南德所做的工作是簡(jiǎn)化現(xiàn)有的一階運(yùn)動(dòng)模型（First Order Motion Model），使用 OpenCV 對(duì)視頻進(jìn)行特效生成。

　　項(xiàng)目的后端支持由 OpenCV 庫(kù)完成，避免使用復(fù)雜的模型，降低使用門(mén)檻。

　　按照作者觀點(diǎn)，使用這個(gè)模型只需要對(duì)一類(lèi)數(shù)據(jù)集進(jìn)行訓(xùn)練后，便可應(yīng)用到對(duì)其全部事物上去，即具有較好的泛化能力。

　　不同于原一階模型的多個(gè)數(shù)據(jù)集測(cè)試效果，現(xiàn)在阿南德實(shí)時(shí)動(dòng)態(tài)特效模型還只在人臉數(shù)據(jù)集上進(jìn)行測(cè)試，后續(xù)后持續(xù)增加其他數(shù)據(jù)集。

　　這個(gè)模型的特點(diǎn)是易用，配置非常簡(jiǎn)單，基本可以開(kāi)箱即用，即使是訓(xùn)練自己的數(shù)據(jù)集也會(huì)比較簡(jiǎn)單。

　　因?yàn)榱⒆阌趯?duì)現(xiàn)有資源進(jìn)行優(yōu)化配置，操作簡(jiǎn)易，功能強(qiáng)大。

　　當(dāng)然，簡(jiǎn)單也會(huì)帶來(lái)問(wèn)題，比如現(xiàn)在數(shù)據(jù)集較為單一，針對(duì)的主要是人臉數(shù)據(jù)集。

　　此外，對(duì)人臉的輪廓識(shí)別效果還不那么令人滿(mǎn)意，需要加以改造。

　　作者簡(jiǎn)介

　　項(xiàng)目作者阿南德·帕瓦拉（Anand Pawara）是印度 AvenDATA 公司的一名深度學(xué)習(xí)工程師，現(xiàn)居孟買(mǎi)。

　　繁瑣的工作自動(dòng)化，大幅度降低上手的難度。

　　完整實(shí)現(xiàn)過(guò)程連接在下面，如果有興趣，歡迎自己去試試喲~

　　參考鏈接：

　　https://github.com/anandpawara/Real_Time_Image_Animation

　　https://m.weibo.cn/1402400261/4508119667605445

總結(jié)

以上是生活随笔為你收集整理的你动、蒙娜丽莎跟着一起动，OpenCV这么用，表情口型造假更难防了的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。