谷歌 Deepmind 推出 Lyria AI 音频模型,可生成带有乐器和人声的音乐
11 月 21 日消息,Deepmind 日前推出了一款名為 Lyria 的音頻模型,可用于生成帶有樂(lè)器和人聲的音樂(lè)。此外 Deepmind 還通過(guò)與 YouTube 合作,整合 Lyria 模型開(kāi)發(fā)了音樂(lè)創(chuàng)作工具 Dream Track,聲稱可令視頻創(chuàng)作者“更有效率地將想法變?yōu)樽髌贰薄?/p>
研究人員介紹了當(dāng)前通過(guò) AI 模型生成音樂(lè)的挑戰(zhàn),這是因?yàn)橐魳?lè)本身包含極高的信息密度,其中每一秒鐘都可能擁有多個(gè)節(jié)拍、音符及和聲。而這也使得“生成音樂(lè)”相較于“生成語(yǔ)言(文字轉(zhuǎn)語(yǔ)音)”更為復(fù)雜,而對(duì)于 AI 模型來(lái)說(shuō),維持長(zhǎng)音樂(lè)序列中的連續(xù)性也更為困難,這是因?yàn)槟P托枰诓煌臉?lè)句、詩(shī)節(jié)和長(zhǎng)段落中,保持音樂(lè)的流暢性和一致性。
此外,由于音樂(lè)片段中經(jīng)常同時(shí)包含多個(gè)聲部和樂(lè)器,這也進(jìn)一步增加了音樂(lè)生成的難度,相關(guān)音頻模型必須能夠協(xié)調(diào)多種聲音和旋律,從而使生成的音樂(lè)更自然。
而 Deepmind 所開(kāi)發(fā)的 Lyria AI 模型,便是針對(duì)上述痛點(diǎn)進(jìn)行的嘗試,這款模型的最大特點(diǎn)就是能夠生成包含樂(lè)器和人聲的高品質(zhì)音樂(lè)。
此外,Lyria 模型還擅長(zhǎng)進(jìn)行音樂(lè)變換和延續(xù)的任務(wù),因此模型還能基于現(xiàn)有音樂(lè)片段生成出風(fēng)格新穎或統(tǒng)一的后續(xù)片段。
研究人員同時(shí)強(qiáng)調(diào),Lyria 模型擁有細(xì)致的微調(diào)選項(xiàng),可讓用戶精確生成音樂(lè)風(fēng)格及表現(xiàn)方式,因此這款模型可以“滿足專業(yè)音樂(lè)創(chuàng)作的需求,同時(shí)也可以讓業(yè)余用戶輕松上手”。
注意到,目前 YouTube 已經(jīng)在短視頻功能“Shorts”中應(yīng)用 Lyria 模型,相關(guān)成果已經(jīng)集成在 YouTube 的實(shí)驗(yàn)音樂(lè)創(chuàng)作工具 Dream Track 中,用戶可以用這款工具生成多樣化的配樂(lè),并可選用 Charlie Puth、Charli XCX、Sia 等藝術(shù)家的音樂(lè)風(fēng)格來(lái)創(chuàng)造出“全新演繹”。
據(jù)悉,用戶可以在 Dream Track 中簡(jiǎn)單地輸入主題,之后即可選擇一位藝術(shù)家,為短視頻生成 30 秒的配樂(lè)、歌詞、伴奏等內(nèi)容。
此外,Deepmind 還表示,研究人員正廣泛地探索 AI 在音樂(lè)創(chuàng)作領(lǐng)域的應(yīng)用,未來(lái)用戶只需要哼唱,AI 就會(huì)把旋律配成帶有歌詞的完整歌曲,也可以將古早的 MIDI 音樂(lè)轉(zhuǎn)換為 Remix 版本,或?yàn)橐糗壧砑痈鞣N樂(lè)器伴奏。
Deepmind 同時(shí)提到,Lyria 模型生成的所有內(nèi)容,都會(huì)加上 SynthID 水印標(biāo)記。這是一種辨識(shí)歌曲是否是由 AI 生成的水印機(jī)制,號(hào)稱能夠在不影響聽(tīng)覺(jué)體驗(yàn)的前提下,為 AI 生成的音樂(lè)嵌入“聽(tīng)眾無(wú)法察覺(jué)的水印標(biāo)記”。
研究人員提到,帶有“聲音水印”的音頻,即便添加噪音,或是進(jìn)行 MP3 壓縮,甚至對(duì)變更音調(diào)速度,也都能夠維持可檢測(cè)性,而 Lyria 模型也可以通過(guò)檢測(cè)歌曲中的 SynthID,來(lái)確認(rèn)歌曲中由 Lyria 模型生成的部分,從而更容易辨別音樂(lè)主題內(nèi)容,方便生成后續(xù)音樂(lè)片段。
廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,所有文章均包含本聲明。
總結(jié)
以上是生活随笔為你收集整理的谷歌 Deepmind 推出 Lyria AI 音频模型,可生成带有乐器和人声的音乐的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 达人展示移植新进展,《传送门》游戏可在任
- 下一篇: 宁德时代与 Stellantis 集团合