【AI产品】产品小姐姐分析抖音背后的计算机视觉技术
大家好，今天開設(shè)新的專欄《AI產(chǎn)品》，在這個專欄中，我們將以產(chǎn)品體驗為主，簡單剖析背后的核心技術(shù)，這是一個更加貼近工業(yè)實踐的專欄。
今天就體驗抖音基于計算機視覺技術(shù)實現(xiàn)的幾項高大上的功能，希望可以加深大眾對計算機視覺技術(shù)及人工智能產(chǎn)品進程的認知。
作者 | Luna
編輯 | Luna
抖音提供的功能很多，照片視頻處理都不在話下，搞笑如各式貼紙、妝容術(shù)、換頭換臉、圖像風格遷移等，浪漫如“吹蒲公英”，嚴肅如后臺的“鑒黃”，以下對抖音里與計算機視覺相關(guān)的產(chǎn)品功能點進行體驗與分析。
1?美丑胖瘦收放自如
不管有沒有玩過抖音，大家或多或少都在朋友圈或微博看見過如下類似的搞笑照片。
所以，大家應(yīng)該就更加能理解，為什么這么多人每天活在抖音里“醉生夢死”，因為比起苦難的生活，這里真的比較輕松有趣對吧？
這些看似搞怪的圖片，在抖音里實現(xiàn)起來其實很簡單。其基本流程如下：打開抖音app，點擊屏幕正中間的“+”按鈕，進入照片/視頻模塊，選擇道具圖標，然后在圖標工具庫中選中自己想要的效果，則人在畫面中的成像，就可以開始各種作妖，尤其是眼睛、眉毛、嘴巴、鼻子等臉部主要關(guān)鍵部位，可發(fā)生明顯變形，打造出各種連親媽都難以辨認的形象。
如圖，是抖音道具圖標的極小部分截圖，從中也可以感受到整體功能設(shè)計呈現(xiàn)出多樣性、娛樂性、趣味性的效果。
任何產(chǎn)品的功能設(shè)計，其定調(diào)都緊緊圍繞著產(chǎn)品的目標用戶，抖音主要的目標用戶群體定位為90后追求潮流個性的年輕人，而這類人群喜歡刺激、渴望表達，但又相對情緒化，所以他們具有觀看或發(fā)布新鮮內(nèi)容以打發(fā)無聊時光及獲得表達自我價值的需求。
為了更好地滿足用戶的上述需求，抖音提供變美、變丑、變瘦、變胖等功能，使得年輕人的互動被極大地多元化，且整個操作的過程成本極其低廉、步驟也十分簡單。
點擊邊框調(diào)出視頻工具條
小視頻里的人，不僅臉部發(fā)生了變形，同時頭頂靈活的“蝴蝶結(jié)小辮兒”也很生動、形象，體驗的過程充滿樂趣，對于很多抖音用戶而言，他們十分樂意去探索這樣多面搞怪的自己。
同時，由于抖音平臺本身的算法優(yōu)勢，功能的實時響應(yīng)性能也很優(yōu)秀，基本只要臉一進入畫面，立馬就能實現(xiàn)拉伸和變形，用戶基本感受不到延時，體驗十分流暢。
這進一步體現(xiàn)，抖音的成功，更多的是因為他們擅長于結(jié)合技術(shù)，以更輕松的方式解決年輕人的需求痛點，抓住大部分用戶的心。
上述臉部變換的功能主要基于人臉關(guān)鍵點檢測技術(shù)實現(xiàn)，該技術(shù)通過定位臉部關(guān)鍵部位，并在關(guān)鍵部位上對像素點進行變換，達成各種不同的效果。人臉關(guān)鍵點檢測技術(shù)也被廣泛地應(yīng)用于直播及短視頻，如網(wǎng)易的游戲直播、YY直播等，基于該技術(shù)衍生出了很多有趣的功能，帶給用戶越來越新奇刺激的體驗。
技術(shù)關(guān)鍵詞：人臉關(guān)鍵點檢測。
2?換頭不是夢
上一項功能只是變形，抖音里還有更神奇的技能。
為了實現(xiàn)如上“換頭”效果，同樣地其制作流程為：啟動抖音來到拍攝頁面，選中“狗頭”或“豬頭”圖標，則畫面中自己的臉部就會被完全遮蔽。同時，如果用戶眨眼或張嘴，會看到畫面中的相同部位同步變換，體驗還是挺新奇的。
該項功能進一步提升了對年輕用戶的刺激感，因為對某些用戶而言，他們一方面想要尋求刺激、內(nèi)心具有有強烈的表達自我的意愿，但同時又不可避免地想要制造一定的神秘感，或用戶本身略帶羞澀感，而這一功能正好滿足了這部分的需求。
點擊邊框調(diào)出視頻工具條
小視頻里眨眼的豬頭十分憨萌，用來撒嬌應(yīng)該百試百靈吧。
那么，到底是什么樣的技術(shù)，可以如此精準地定位并恰到好處地實現(xiàn)“偷梁換柱”呢？
實質(zhì)上，該項功能的實現(xiàn)主要應(yīng)用了圖像語義分割技術(shù)。具體地，抖音通過對人體進行語義分割，獲得人體各個部位如頭、臉、手、腳的位置及標簽，并通過用戶選定的工具模板，將對應(yīng)部位替換，實現(xiàn)最終的“換頭”。相比目標檢測而言，圖像語義分割是精確到像素點的分類，因而替換的過程看起來也更加地智能和精準，用戶體驗更佳。
但體驗中發(fā)現(xiàn)不足的是，或許是算法分割準確率的問題，嘗試張開嘴巴時，隨之張開的卻不是頭像里狗的嘴巴，而是自己的血盆大口，而有些道具在使用中就不會出現(xiàn)類似情況，這可能也是當前產(chǎn)品的一個小Bug。
技術(shù)關(guān)鍵詞：圖像語義分割。
3?想要的風格全都有
計算機視覺里比較熱門的圖像風格遷移技術(shù)，在抖音里也有所體現(xiàn)。
如圖所示，上述功能實現(xiàn)的流程為：啟動抖音app進入拍攝頁面后，在道具庫中選中白色的素描花朵圖標，隨后對輸入的鍵盤畫面即可進行風格的實時變換。原來低調(diào)科技風的鍵盤，瞬間變成了漫畫素描式風格。
同樣地，也可以實現(xiàn)對人像的風格變換，看到自己的臉在畫面里變成“漫畫臉”，感覺也挺有意思的。
基于圖像風格遷移，還可以實現(xiàn)妝容變換。如圖，是抖音里的一個貼紙妝的效果，通過妝容的遷移，用戶本身可能不帶妝，但清晰可見畫面中眼線、眉毛、嘴唇都被化上相應(yīng)的妝容，且效果自然貼切。同時妝容切換只需要重新點擊選中另一個圖標即可，可以很好地幫助那些小仙女用戶實現(xiàn)快速變妝拍照。
該項功能主要是為了迎合部分追求文藝風格的用戶及大部分愛美女性用戶的需求，試想若一個產(chǎn)品可以使得用戶以超低的成本，隨時體驗自己不同風格的美，極大地滿足用戶的虛榮心，則該產(chǎn)品的用戶黏度會越來越高。
但是同時體驗中也有一個感受是，有些功能存在相近或冗余，比如之前大火的所謂控雨術(shù)，在體驗中發(fā)現(xiàn)并沒有什么“控制的效果”，同時對于道具的分類也不是十分清晰，有點混亂，可能也是由于功能選項實在是太多了。
技術(shù)關(guān)鍵詞：風格遷移。
4?帶心愛的她去吹“蒲公英”
大家覺得程序員都是呆板、木訥的，然而抖音程序員實現(xiàn)的“蒲公英”功能卻可以說是相當浪漫了。
如圖所示，該功能的基本流程邏輯為：啟動抖音app來到拍攝頁面后，選中“吹蒲公英”工具圖標，畫面里就可以看到有幾株漂亮的蒲公英，用戶只需要對著屏幕，張大嘴巴做吹氣狀，則畫面里的蒲公英就會像真的蒲公英一樣四處散開，營造出一種唯美的意境。
該功能是抖音獨創(chuàng)，有了它，你就可以帶心愛的她天天吹蒲公英了。
點擊邊框調(diào)出視頻工具條
小視頻“吹蒲公英的現(xiàn)場”，整個畫面感很真實，甚至于相比大自然的真實場景，更加美好。
而且由于是虛幻的，蒲公英永遠都吹不完，這應(yīng)該戳中了許多抖音小仙女的心。
而提出該項功能需求點的初衷，一方面是為了滿足平臺用戶少女的浪漫情懷，而另一方面也是為了幫助單身男青年實現(xiàn)低成本“求偶”。同時這也進一步強化了抖音音樂化、文藝化的定位和格調(diào)。
“蒲公英”功能的實現(xiàn)，主要采用了人臉表情識別技術(shù)。但是在該項功能中，體驗不足的是，用戶只有將人臉放置在屏幕正中間，蒲公英的吹散效果才比較好，而且通常都是檢測到動作后，一旦觸發(fā)，就會把屏幕中所有的蒲公英都吹散開，沒有辦法實現(xiàn)單獨吹某一朵蒲公英的行為，可能是當前算法在實際運用中，仍無法十分精準定位和檢測的緣故吧。
不可否認，抖音的成功還在于，它通過冰冷的技術(shù)，創(chuàng)造性地為用戶帶來了暖心的情懷和浪漫，這也是值得許多人工智能產(chǎn)品借鑒的一種精神。
技術(shù)關(guān)鍵詞：表情識別。
5?時刻睜大的“鑒黃”雙眼
自直播、短視頻應(yīng)用興起后，各種監(jiān)管問題層出不窮，而對于抖音而言，用戶生成的內(nèi)容是海量的，基于此，抖音在用戶看不見的后臺，采用了基于深度學習的“圖像分類”技術(shù)對用戶上傳的圖片、視頻資料進行智能監(jiān)管。
在訓練鑒黃系統(tǒng)的過程中，輸入如圖所示的大量訓練數(shù)據(jù)，并且這些數(shù)據(jù)都攜帶有對應(yīng)標簽，標簽值標明了該圖片是否屬于黃色圖片范疇。則模型通過學習并“記住”黃色圖片的特征，并在面臨新的輸入圖片或視頻時，提取相應(yīng)特征后，結(jié)合學習的經(jīng)驗判斷，該圖片屬于屬于黃色圖片的概率，最終分類概率高于一定閾值的內(nèi)容會被標記敏感選項，需進行二次分流檢測或人工鑒別。如此對圖片/視頻資料進行分類篩選，以保證內(nèi)容的健康性。
在體驗時也發(fā)現(xiàn)，相較其它短視頻或直播類的平臺，抖音的整體環(huán)境的營造以及內(nèi)容的調(diào)性相對優(yōu)良，色情、暴力及敏感內(nèi)容較少，則抖音背后強大的算法技術(shù)功不可沒。
抖音屬于頭條系產(chǎn)品，在算法的性能及應(yīng)用上本身就具有一定的優(yōu)勢，假以時日，一定可以推動鑒黃算法朝著自動化及智能化更上一層樓。
技術(shù)關(guān)鍵詞：圖像分類。
總結(jié)
我們都可切實地感受到，計算機視覺技術(shù)已不僅僅停留在理論層面，而是落地到許多產(chǎn)品中，為用戶帶來了許多活力與驚喜，人工智能正不知不覺地慢慢改變?nèi)祟惖纳睢Ｗ鳛橛嬎銠C視覺的從業(yè)或愛好者，也應(yīng)當保持對行業(yè)產(chǎn)品動態(tài)的持續(xù)關(guān)注~
本周直播(點擊圖片跳轉(zhuǎn))
今日看圖猜技術(shù)
有三AI生態(tài)
更多精彩內(nèi)容請關(guān)注知乎專欄《有三AI學院》
轉(zhuǎn)載文章請后臺聯(lián)系
侵權(quán)必究
往期精選
【完結(jié)】聽完這12次分享，你應(yīng)該完成了AI小白的蛻變
【完結(jié)】12篇文章告訴你深度學習理論應(yīng)該學到什么水平
【技術(shù)綜述】一文道盡softmax loss及其變種
【技術(shù)綜述】閑聊圖像分割這件事兒
【技術(shù)綜述】萬字長文詳解Faster RCNN源代碼
【技術(shù)綜述】基于弱監(jiān)督深度學習的圖像分割方法綜述
總結(jié)
以上是生活随笔為你收集整理的【AI产品】产品小姐姐分析抖音背后的计算机视觉技术的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【杂谈】AI工业界都有哪些值得参加的比赛
- 下一篇： 【知识星球】每日干货看图猜技术，你都会吗