蕾師師 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

只需要輸入一段語(yǔ)音，代碼會(huì)自動(dòng)生成與之相對(duì)的動(dòng)畫(huà)唇形。

還是毫無(wú)違和感的那種。

這是一個(gè)在GitHub上擁有501星的開(kāi)源項(xiàng)目，叫做Rhubarb Lip Sync。

它既可以是Windows和OS X命令行工具，也可以作為軟件的插件使用，能夠根據(jù)語(yǔ)音記錄自動(dòng)創(chuàng)建2D嘴型動(dòng)畫(huà)。

它可以用于計(jì)算機(jī)游戲、動(dòng)畫(huà)卡通中的角色，或者用于其他需要基于現(xiàn)有錄音、對(duì)嘴部進(jìn)行動(dòng)畫(huà)處理的的影視項(xiàng)目。

那么，它是怎么實(shí)現(xiàn)如此效果的呢？

運(yùn)作原理

首先，了解一下動(dòng)畫(huà)人物說(shuō)話的六種嘴型。?

??上述六種嘴型是由漢娜·巴貝拉(Hanna-Barbera)發(fā)明，已經(jīng)成為2D動(dòng)畫(huà)嘴型的制作標(biāo)準(zhǔn)，被迪士尼和華納兄弟等影視公司在多部影視作品采用。

??大多數(shù)的發(fā)音，都可以用這六種嘴型表示出來(lái)。

因此，Rhubarb Lip Sync工作的步驟如下：

• 輸入一段語(yǔ)音

• Lip Sync識(shí)別這段語(yǔ)音

• 使用六個(gè)基本嘴形和最多三個(gè)擴(kuò)展嘴形與語(yǔ)音匹配

• 輸出一個(gè)固定格式的文件

假如我說(shuō)個(gè)奇怪的方言，它也能輸出相應(yīng)的嘴型動(dòng)畫(huà)嗎？

當(dāng)然不是。

目前，Rhubarb Lip Sync只提供了兩個(gè)語(yǔ)音識(shí)別系統(tǒng)：

• PocketSphinx：只能識(shí)別英語(yǔ)，準(zhǔn)確率更高。

• Phonetic ：能識(shí)別所有語(yǔ)言，因?yàn)樗且罁?jù)個(gè)人的聲音和音節(jié)判別的，但準(zhǔn)確率不如前者。

那么，這個(gè)小工具可以跟哪些視頻軟件融合使用呢？

可適用于多款軟件

Adobe After Effects

可以在下載Rhubarb Lip Sync，并且安裝到AE上，可以直接在AE上運(yùn)行這個(gè)軟件。

Moho and OpenToonz

Rhubarb Lip Sync能夠生成.dat文件，這種文件可以被Moho and OpenToonz識(shí)別，并導(dǎo)入使用。

Spine by Esoteric Software

Rhubarb Lip Syn for Spine是一個(gè)圖形工具，可讓導(dǎo)入Spine項(xiàng)目，執(zhí)行自動(dòng)唇形同步，然后將結(jié)果重新導(dǎo)入Spine。

Vegas Pro by Magix

Rhubarb Lip Syn 還附帶了兩個(gè)用于Vegas Pro(以前稱(chēng)為Sony Vegas)的插件腳本，可直接在Vegas中使用。

趕快把這個(gè)小工具推薦給你喜歡做視頻的朋友吧~

源代碼地址：https://github.com/DanielSWolf/rhubarb-lip-sync最新版本的下載地址：https://github.com/DanielSWolf/rhubarb-lip-sync/releaseshttps://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/AdobeAfterEffects/README.adochttps://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/EsotericSoftwareSpine/README.adoc

— 完 —

本文系網(wǎng)易新聞?網(wǎng)易號(hào)特色內(nèi)容激勵(lì)計(jì)劃簽約賬號(hào)【量子位】原創(chuàng)內(nèi)容，未經(jīng)賬號(hào)授權(quán)，禁止隨意轉(zhuǎn)載。

AI落地最佳參考！

2020中國(guó)人工智能年度評(píng)選結(jié)果揭曉

12月16日，量子位MEET 2021智能未來(lái)大會(huì)現(xiàn)場(chǎng)，50大領(lǐng)航企業(yè)、10大明星創(chuàng)業(yè)公司、30大商業(yè)領(lǐng)軍人物、10大最佳產(chǎn)品、10大最佳解決方案、5大社會(huì)責(zé)任榜樣、5大最佳技術(shù)社區(qū)等年度獎(jiǎng)項(xiàng)悉數(shù)頒出。點(diǎn)擊圖片查看完整榜單：

量子位?QbitAI · 頭條號(hào)簽約作者

?'?' ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)

一鍵三連「分享」、「點(diǎn)贊」和「在看」

科技前沿進(jìn)展日日相見(jiàn)~

總結(jié)

以上是生活随笔為你收集整理的语音识别插件_2D动画唇动合成，根据语音自动生成动画人物口型的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。