只需1分钟,这个网站用AI分离歌曲的人声、伴奏和乐器声
整理:Just,出品:AI 科技大本營(ID:rgznai100)
疫情期間,在家待著閑來無事,一些技術人員就喜歡以技術的方式找點樂子,順帶賺錢最好了。
將歌曲中的人聲和樂器聲分離是一件讓想使用音樂伴奏的人頭疼的事情,傳統的音樂制作軟件使用門檻較高,處理起來不光費時而且效果不一定好。
團子 DanGo.ai(https://dango.ai/)——微博網友@無吔學生近期利用 AI 技術做的這個能分離音頻軌道的網站火了。
在音樂分離這一領域,實際上已經有一些免費的 AI 工具。比如,由法國音樂流媒體服務公司 Deezer 為研究目的而開發的 Spleeter 開源工具,只需要提供一個音頻文件,然后 Spleeter 就會將它分成兩個、四個或五個獨立的音軌,非常有用。
團子 DanGo.ai 就是基于 Spleeter 開源工具做的。利用 AI 技術并通過上千首歌曲數據的訓練,用戶只需要上傳歌曲,等待 1 分鐘,目前就可以提取歌曲中的伴奏、人聲、鋼琴、貝斯、鼓點等多音軌壓縮文件,效果要好于 Au 或者 GoldWave 之類的傳統音頻處理軟件。
@無吔學生表示,這是他禿了一個月頭的成果。
據網站作者介紹。團子主要由基于 MIT 協議的開源項目 Spleeter 制作的,同時在其之上增加了一些功能魔改使效率與音質得到提升。團子基于深度神經網絡(DNN)實現的音軌分離所誕生的人工智能,它使用 Python/Tensorflow 開發。
那么,團子 DanGo.ai 與傳統的音樂分離軟件有什么不同?
一般而言,傳統音樂分離軟件所謂的“消音”一般是簡單的帶阻濾波,用人話說就是把人聲所在的頻率直接暴力擦除,這就會導致消音后的歌曲變得特別“糊”——表現為鼓點、某些樂器的消失。作者解釋,這是因為人聲會和某些相同頻率的樂器重疊,單純的摳除這個頻率,不光會消除人聲,也會消除在這個頻率里的樂器。而根據歌曲的不同,人聲/和聲所在的頻率也并非固定,這就導致提取出的伴奏不但效果糟糕,而且仍然帶著部分殘余的人聲。
“當然,也有一些人發現,歌曲中的人聲錄音一般是單聲道的,而歌曲的樂器未必是這樣。于是人們也嘗試使用左右聲道“相減”(如 Au 中的中置聲道提取器)來提取伴奏或人聲。但是提取的效果基本仍然很差,因為無法保證樂器不是多聲道的,也無法保證人聲是否被混音師加了后期處理效果器而變成多聲道,所以它并不適合多數歌曲(尤其是現代音樂)。”
作者稱,團子 DanGo.ai 則不用考慮上述讓人心智損傷的事情。該軟件用了大量的音樂數據進行訓練,“我們可以把團子想象成一個大腦——我們讓它聽了非常多的歌曲用來“訓練”它。現在它非常懂得歌曲,理解歌曲中各個樂器的存在,也能謹慎細心的剝離開人聲和伴奏,從而最大程度的保留各個音軌的質量。”
目前,用戶可用團子 DanGo.ai 網站試聽 5 首分離的多音軌歌曲。當然,如果你想要更多高質量的生成歌曲還需付費,付費歌曲會保留 30 天的歌曲文件讓用戶下載。
總結
以上是生活随笔為你收集整理的只需1分钟,这个网站用AI分离歌曲的人声、伴奏和乐器声的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 他去遛了波士顿动力机器狗!不停地说Ama
- 下一篇: 蒜泥鲍鱼怎么做好吃啊?