極客號（Daydx.com）10月2日 消息:谷歌研究與康奈爾大學合作提出了一項名為RealFill的真實圖像補全技術(shù)，旨在解決圖像修復中的真實性和場景一致性問題。該技術(shù)的核心目標是使用少量的參考圖像來填充給定目標圖像的缺失部分，同時盡可能保持原始場景的真實性。
RealFill的優(yōu)勢在于其能夠使用最多5張不需要與目標圖像完全一致的參考圖像，甚至可以在視角、光線條件、相機光圈或圖像風格等方面存在極大差異。通過對參考圖像和目標圖像進行微調(diào)，創(chuàng)建一個個性化的生成模型，RealFill保持了圖像的視覺先驗，同時學習了輸入圖像的場景內(nèi)容、光照和風格。然后，使用微調(diào)后的模型，通過標準的擴散采樣過程來填充目標圖像中的缺失區(qū)域。
論文鏈接:https://arxiv.org/abs/2309.16668
項目頁面:https://realfill.github.io/
RealFill特別關(guān)注處理具有挑戰(zhàn)性的情況，包括不同視點、環(huán)境條件、相機光圈、圖像風格以及移動的對象。實驗結(jié)果顯示，該技術(shù)能夠生成視覺上引人入勝且與參考圖像一致的圖像內(nèi)容，即使參考圖像與目標圖像之間存在巨大差異。
與其他基準方法相比，RealFill表現(xiàn)出更高的場景保真度和與參考圖像的一致性。相比之下，其他方法如Paint-by-Example依賴于CLIP嵌入，而Stable Diffusion Inpainting則在表達能力上存在限制，無法實現(xiàn)高度的場景保真。RealFill的優(yōu)勢在于通過添加更多條件（參考圖像）來擴展生成型圖像修復模型的表達力，提供了更好的結(jié)果。
然而，RealFill也存在一些局限性，包括處理速度較慢、在大幅度視點變化時無法恢復3D場景以及無法處理對基礎(chǔ)模型具有挑戰(zhàn)性的情況。盡管如此，RealFill技術(shù)為圖像修復領(lǐng)域帶來了重要的進展，能夠生成更真實和一致的圖像內(nèi)容，為圖像處理和編輯提供了有力的工具。
在圖像修復領(lǐng)域，RealFill技術(shù)的出現(xiàn)為解決真實性和一致性的問題提供了創(chuàng)新性的方法，使圖像補全更加真實、高質(zhì)量。這項技術(shù)的應用潛力廣泛，將為圖像處理和編輯領(lǐng)域帶來新的可能性，使我們能夠獲得更完美的圖像。
