只需 1 分钟,这个网站用 AI 分离歌曲的人声、伴奏和乐器声
整理:Just
出品:AI科技大本營(ID:rgznai100)
疫情期間,在家待著閑來無事,一些技術人員就喜歡以技術的方式找點樂子,順帶賺錢最好了。
將歌曲中的人聲和樂器聲分離是一件讓想使用音樂伴奏的人頭疼的事情,傳統(tǒng)的音樂制作軟件使用門檻較高,處理起來不光費時而且效果不一定好。
團子DanGo.ai(https://dango.ai/)——微博網(wǎng)友@無吔學生近期利用AI技術做的這個能分離音頻軌道的網(wǎng)站火了。
在音樂分離這一領域,實際上已經(jīng)有一些免費的AI工具。比如,由法國音樂流媒體服務公司Deezer為研究目的而開發(fā)的Spleeter開源工具,只需要提供一個音頻文件,然后Spleeter就會將它分成兩個、四個或五個獨立的音軌,非常有用。
團子DanGo.ai就是基于Spleeter開源工具做的。利用AI技術并通過上千首歌曲數(shù)據(jù)的訓練,用戶只需要上傳歌曲,等待1分鐘,目前就可以提取歌曲中的伴奏、人聲、鋼琴、貝斯、鼓點等多音軌壓縮文件,效果要好于Au或者GoldWave之類的傳統(tǒng)音頻處理軟件。
@無吔學生表示,這是他禿了一個月頭的成果。
據(jù)網(wǎng)站作者介紹。團子主要由基于MIT協(xié)議的開源項目Spleeter制作的,同時在其之上增加了一些功能魔改使效率與音質得到提升。團子基于深度神經(jīng)網(wǎng)絡(DNN)實現(xiàn)的音軌分離所誕生的人工智能,它使用Python/Tensorflow開發(fā)。
那么,團子 DanGo.ai 與傳統(tǒng)的音樂分離軟件有什么不同?
一般而言,傳統(tǒng)音樂分離軟件所謂的“消音”一般是簡單的帶阻濾波,用人話說就是把人聲所在的頻率直接暴力擦除,這就會導致消音后的歌曲變得特別“糊”——表現(xiàn)為鼓點、某些樂器的消失。作者解釋,這是因為人聲會和某些相同頻率的樂器重疊,單純的摳除這個頻率,不光會消除人聲,也會消除在這個頻率里的樂器。而根據(jù)歌曲的不同,人聲/和聲所在的頻率也并非固定,這就導致提取出的伴奏不但效果糟糕,而且仍然帶著部分殘余的人聲。
“當然,也有一些人發(fā)現(xiàn),歌曲中的人聲錄音一般是單聲道的,而歌曲的樂器未必是這樣。于是人們也嘗試使用左右聲道“相減”(如Au中的中置聲道提取器)來提取伴奏或人聲。但是提取的效果基本仍然很差,因為無法保證樂器不是多聲道的,也無法保證人聲是否被混音師加了后期處理效果器而變成多聲道,所以它并不適合多數(shù)歌曲(尤其是現(xiàn)代音樂)。”
作者稱,團子DanGo.ai 則不用考慮上述讓人心智損傷的事情。該軟件用了大量的音樂數(shù)據(jù)進行訓練,“我們可以把團子想象成一個大腦——我們讓它聽了非常多的歌曲用來“訓練”它。現(xiàn)在它非常懂得歌曲,理解歌曲中各個樂器的存在,也能謹慎細心的剝離開人聲和伴奏,從而最大程度的保留各個音軌的質量。”
目前,用戶可用團子 DanGo.ai 網(wǎng)站試聽5首分離的多音軌歌曲。當然,如果你想要更多高質量的生成歌曲還需付費,付費歌曲會保留30天的歌曲文件讓用戶下載。
最后給出作者的制作網(wǎng)站的一個demo視頻,可以聽出歌曲不同多音軌的效果,你感受下?
RECOMMEND
推
薦
閱
讀
? ? ? ? ? ? ?
? AI社群??
? ? ? ? ? ? ? ??
對AI感興趣的小伙伴,
網(wǎng)易智能有12個不同垂直領域社群等你加入
添加智能菌微信:kaiwu_club
和我們一起探討AI的故事~
你有沒有“在看”鴨?
總結
以上是生活随笔為你收集整理的只需 1 分钟,这个网站用 AI 分离歌曲的人声、伴奏和乐器声的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 一份 2.5k star 的《React
- 下一篇: [html] html的属性值有规定要