郭一璞 發(fā)自 西二旗

量子位 報道 | 公眾號 QbitAI

你一定覺得，AI這種前沿科技，主要活在硅谷西二旗的科技公司、大學和研究院的論文、還有資本的熱捧里。

這些地方有算力、有人才、有資金。

但實際上，即使是那些中國最質(zhì)樸的農(nóng)民，也已經(jīng)用上AI了。

比如說，快手平臺上的1.9億短視頻創(chuàng)作者，他們也在用AI技術(shù)豐富自己創(chuàng)作的短視頻作者。

那么，具體怎么用呢？

量子位采訪到了快手的技術(shù)團隊，為大家介紹幾個快手平臺上AI應(yīng)用，還有背后的原理。

低配手機也能用的Animoji

最有趣的功能當屬“萌面Kmoji”，將視頻中人物的頭像變成虛擬卡通形象，一方面可以給視頻增添樂趣，另一方面也可以幫助到那些不想露臉的用戶。

類似蘋果2017年推的Animoji功能，通過面部識別將用戶臉上的細微表情，生成對應(yīng)的卡通形象。

△ Kmoji版的快手網(wǎng)紅手工耿

量子位也體驗了一下“萌面Kmoji”的效果：

至于如何生成這類效果，快手技術(shù)團隊介紹，需要用到基于物理的真實感渲染算法，讓Kmoji上的金屬、皮革等模型看起來更擬真。

整個模擬人臉的過程借助了3D結(jié)構(gòu)恢復(fù)與3D信息融合，用3D重建技術(shù)恢復(fù)出3D結(jié)構(gòu)，融合2D信息后，分析人臉特征，進而生成虛擬形象。

在這里，3D人臉重建需要借助快手內(nèi)部的上萬級3D人臉數(shù)據(jù)集，包含每個人的年齡段、人種、臉型和表情，通過人臉關(guān)鍵點識別技術(shù)，幫助3D人臉重建，不管你是哭著還是笑著都可以重現(xiàn)出來。

此外，生成虛擬形象還要分析用戶的人臉屬性，借助分類/回歸/分割等方法，區(qū)分出性別、年齡、膚色、臉型等信息。

之后，因為生成的3D卡通圖像是會隨著人的表情而變化的，需要分析人臉表情，才能在卡通形象上展示出一模一樣的表情。

這里需要通過2D的RGB視覺信息對問題進行建模求解，獲得人臉關(guān)鍵點和實時重建的3D模型，把各種模態(tài)信息做建模、做對齊，求解出人臉的表情，驅(qū)動虛擬卡通形象做各種逼真的動作。

另外的一個問題是，如何讓模型在手機端（乃至低端手機上）跑起來？

快手技術(shù)團隊介紹，為了讓模型在手機端流暢運行，需要進行圖像預(yù)處理，合并多種預(yù)處理操作，對預(yù)處理的圖像內(nèi)存進行統(tǒng)一分配和回收，利用NEON加速和蘋果自帶的accelerate加速，讓運行庫只占2M的空間。

最后，在保證預(yù)測精度的前提下，快手技術(shù)團隊對AI模型進行局部的INT8量化，使得運行速度可提高1倍以上，同時AI預(yù)測模型的占用空間也壓縮到將近原來的四分之一。

世界上的另一個你

世界上的另一個你是快手在去年烏鎮(zhèn)的世界互聯(lián)網(wǎng)大會上亮相的一個線下應(yīng)用，這個玩法是根據(jù)體驗者的面孔，匹配億萬快手用戶上傳在平臺上的公開視頻，找到那個跟你長相相似的人。

這個應(yīng)用本身是靠人臉檢測。

據(jù)快手技術(shù)團隊介紹，在提取人臉特征后，系統(tǒng)在快手后臺數(shù)據(jù)庫中進行檢索，找到相似度最高的三個人臉圖像。

之后，再對這三個人臉圖像進行更細粒度的屬性分析，得出對應(yīng)的年齡、性別、表情等屬性，基于屬性對檢索結(jié)果進行重排，從三張人臉里挑出和體驗者長得最像的那個。

人像3D打光

快手上的另外一個AI應(yīng)用則是人像3D打光，就像是短視頻版的“逆光也清晰”，在光線不好的情況下，自動“打”一束光到用戶臉上，讓生成的圖像效果有非常自然、符合面部形狀的光線。

人像3D打光主要利用了實時人臉三維重建技術(shù)，利用了人臉參數(shù)化先驗?zāi)Ｐ停鶕?jù)輸入圖，自動匹配人臉幾何信息，得到人臉3D模型參數(shù)，獲得人臉3D網(wǎng)格模型。

另外，還可以根據(jù)不同的場景設(shè)置不同的光源，利用實時渲染技術(shù)對虛擬人臉進行渲染，得到面部光影圖；對輸入人像進行前景分割，得到前景分割蒙版，也可以根據(jù)原圖得到其他蒙版信息；這些蒙版分別作為不同的圖層按照場景需求特定的方式疊加到原圖上，就可以得到打光結(jié)果。

OMT

除了計算機視覺、計算機圖形學方面的應(yīng)用，據(jù)快手算法科學家張國鑫介紹，快手在2019年也會將語音識別融入到產(chǎn)品中，開發(fā)更多應(yīng)用。

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關(guān)村。期待有才氣、有熱情的同學加入我們！相關(guān)細節(jié)，請在量子位公眾號(QbitAI)對話界面，回復(fù)“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

?'?' ? 追蹤AI技術(shù)和產(chǎn)品新動態(tài)

總結(jié)

以上是生活随笔為你收集整理的揭秘：快手用AI在短视频里玩出三大花样，背后是怎样的技术原理？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。