最近一段時間,AI 作畫的水平正在突飛猛進。在 Midjourney、Adobe Firefly 不斷布局、落地圖片生成技術(shù)的同時,有創(chuàng)業(yè)公司已經(jīng)把眼光放到了視頻生成上。
本周,推特上出現(xiàn)了不少新 AI 工具生成的短視頻,引發(fā)了人們關(guān)注。這其中既有 AI 生成的「賽博朋克電影預(yù)告片」。
也有自然風(fēng)格的動植物景象:
「日本的旅游風(fēng)光」。
即使是拿手機去拍攝素材,估計都需要花費不少功夫,然而使用一個叫 Morph Studio 的 AI 來生成,從文字轉(zhuǎn)換成視頻只需要幾分鐘。在社交網(wǎng)絡(luò)上,試過它的人紛紛點贊,有人還表示或許過不了多久,小成本的獨立電影就要用上 AI 技術(shù)了。
對于使用者來說,這一輪 AI 生成視頻的工具和此前「要革命繪畫圈」的 AI 畫圖類似 —— 都是只需要幾個提示詞或是一段形容的語句,就可以生成出符合要求的內(nèi)容,你不需要有多少攝影或繪畫基礎(chǔ)。簡而言之就是毫無創(chuàng)作門檻。
目前,這款工具正在開放免費測試:https://discord.com/invite/2ffQj2UmSP
在 Morph 的官方 Discord 上,我們看到不少人正在嘗試生成各種各樣的內(nèi)容:
其中雖然仍然存在一些 AI 風(fēng)格的魔性圖像,但高質(zhì)量視頻的內(nèi)容已有不少,看起來很接近 AI 畫圖的水平。
AI 視頻生成的賽道上,現(xiàn)在有不少創(chuàng)業(yè)公司正躍躍欲試。上個月 Runway 的第二代模型因為可以「從零開始生成視頻」火了一把,而在學(xué)界,最近 AI 頂會上也不斷有使用原圖、提示詞、草圖甚至筆劃指令的視頻生成方法出現(xiàn)。看起來這一領(lǐng)域距離大規(guī)模實用化已經(jīng)不遠了。
前幾天有人對幾家公司視頻生成的生成效果進行了對比,這幾個工具使用的都是接近自然語言的提示詞。
「獨立電影風(fēng)格、憂郁的眼神」:
「中世紀(jì)的騎士,穿著盔甲沐浴在陽光下」:
「海邊行駛的跑車,落日在發(fā)動機蓋上反射出光芒」:
看起來,用同樣的 prompt 生成視頻,Morph Studio 的效果相對而言是最好的。不論是描繪人物、動物、機械,真實、做舊還是二次元風(fēng)格,Morph Studio 都能更忠實地反映人們給出的指令,生成更有邏輯且具有一致性的畫面,視頻內(nèi)容動作的幅度也相比其他產(chǎn)品更加明顯。
有業(yè)內(nèi)人士評價,其產(chǎn)品輸出內(nèi)容的準(zhǔn)確率(成功率)一直是領(lǐng)先于 runway 等產(chǎn)品的。此外,Morph的工程師還透露,在最近的一次更新之中,他們會大幅提升模型的單次生成時長,以獲得更好的生成效果。
引發(fā)人們關(guān)注的 Morph Studio,目前還處于創(chuàng)業(yè)的早期階段。這家公司成立于今年4月,在5月剛剛完成了價值數(shù)百萬美元的種子輪融資。
Morph Studio 應(yīng)用的方法是純文本到圖像,不借助任何文字以外的信息對視頻進行生成,Morph團隊的視頻生成模型是基于擴散模型訓(xùn)練的。該模型能很好的保證畫面的一致性和文字生成的視頻的準(zhǔn)確性。
從 AI 畫圖到 AI 生成視頻,生成模型產(chǎn)出的內(nèi)容增加了一整個維度?,F(xiàn)在,我們可以通過 AI 演繹出一些簡單的情節(jié)片段,在最火短視頻應(yīng)用中搞一些創(chuàng)作。這種技術(shù)在內(nèi)容創(chuàng)作、應(yīng)用場景、甚至商業(yè)模式上也可以有很多想象。
而對于 Morph Studio 來說,他們瞄準(zhǔn)的是短視頻這個應(yīng)用方向。工程師們表示,目前該公司的目標(biāo)是做一款面向消費級的社區(qū)產(chǎn)品,會先從discord進行技術(shù)與需求的驗證。
此外,Morph 也計劃通過網(wǎng)絡(luò)社區(qū)尋找用戶喜歡的主題和社區(qū)文化,針對不同主題和內(nèi)容進行深挖,最終打造 Morph 自己的視頻社區(qū)。
前不久,AI 畫圖引發(fā)了繪畫社區(qū)的一場小小的革命,AI 視頻能為我們做些什么?這讓我們不由得期待起來。