Stability AI 推出 Stable Video Diffusion 模型,可根据图片生成视频
11 月 22 日消息,專注于開發人工智能(AI)產品的初創公司 Stability AI 發布了其最新的 AI 模型 ——Stable Video Diffusion。這款模型能夠通過現有圖片生成視頻,是基于之前發布的 Stable Diffusion 文本轉圖片模型的延伸,也是目前為止市面上少有的能夠生成視頻的 AI 模型之一。
不過,這款模型目前并不是對所有人開放的。Stable Video Diffusion 目前處于 Stability AI 所謂的“研究預覽”階段。想要使用這款模型的人必須同意一些使用條款,其中規定了 Stable Video Diffusion 的預期應用場景(例如“教育或創意工具”、“設計和其他藝術過程”等)和非預期的場景(例如“對人或事件的事實或真實的表達”)。
Stable Video Diffusion 實際上是由兩個模型組成的 ——SVD 和 SVD-XT。SVD 可以將靜態圖片轉化為 14 幀的 576×1024 的視頻。SVD-XT 使用相同的架構,但將幀數提高到 24。兩者都能以每秒 3 到 30 幀的速度生成視頻。
根據 Stability AI 隨 Stable Video Diffusion 一起發布的一篇白皮書,SVD 和 SVD-XT 最初是在一個包含數百萬視頻的數據集上進行訓練的,然后在一個規模較小的數據集上進行了“微調”,這個數據集只有幾十萬到一百萬左右的視頻片段。這些視頻的來源并不十分清楚,白皮書暗示許多是來自公開的研究數據集,所以無法判斷是否有任何版權問題。
SVD 和 SVD-XT 都能生成質量相當高的四秒鐘的視頻,Stability AI 博客上精心挑選的樣本看起來可以與 Meta 最近的視頻生成模型以及谷歌和 AI 初創公司 Runway 和 Pika Labs 的 AI 生成視頻相媲美。
注意到,Stable Video Diffusion 也有局限性,Stability AI 對此也很坦誠,他們稱這些模型不能生成沒有運動或緩慢的攝像機平移的視頻,也不能通過文本進行控制,也不能渲染文字(至少不能清晰地渲染),也不能一致地“正確地”生成人臉和人物。
雖然還是早期階段,Stability AI 指出這些模型非常具有擴展性,可以適應諸如生成物體的 360 度視圖等用例。
Stability AI 最終的目標似乎是將其商業化,稱 Stable Video Diffusion 在“廣告、教育、娛樂等領域”都有潛在的應用。
廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節省甄選時間,結果僅供參考,所有文章均包含本聲明。
總結
以上是生活随笔為你收集整理的Stability AI 推出 Stable Video Diffusion 模型,可根据图片生成视频的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 铁臂阿童木是谁画的啊?
- 下一篇: 阴阳师羽毛笛子扇在哪刷 羽毛笛子扇是什么